[論文レビュー] Compressive classification and the rare eclipse problem

Afonso S. Bandeira, Dustin G. Mixon+1 more|arXiv (Cornell University)|Apr 11, 2014

Sparse and Compressive Sensing Techniques被引用数 9

ひとこと要約

本稿は、特に楕円体を含む非交差凸集合がランダム射影後に線形分離可能である条件を分析することで、圧縮分類のための新規フレームワークを提示する。$k$ 個の楕円体が十分な相互分離を示せば、$O(\log k)$ 次元への射影後でも非交差のままであることが示され、再構成よりもはるかに少ない測定数で分類が可能となる。高次元凸幾何学と極錐解析を用いた理論的境界が導出されている。

ABSTRACT

This paper addresses the fundamental question of when convex sets remain disjoint after random projection. We provide an analysis using ideas from high-dimensional convex geometry. For ellipsoids, we provide a bound in terms of the distance between these ellipsoids and simple functions of their polynomial coefficients. As an application, this theorem provides bounds for compressive classification of convex sets. Rather than assuming that the data to be classified is sparse, our results show that the data can be acquired via very few measurements yet will remain linearly separable. We demonstrate the feasibility of this approach in the context of hyperspectral imaging.

研究の動機と目的

• 非交差凸集合がランダム射影後に線形分離可能であるための最小次元 $M$ を特定すること。
• 楕円体クラスがランダム射影下でも非交差のままである条件を、幾何的分離と多項式係数に焦点を当てて分析すること。
• 従来の研究とは異なり、データや分類器にスパarsityを仮定しない圧縮分類の理論的基盤を提供すること。
• 高スペクトル画像において、最小限の測定数で線形分離性を保つランダム射影の有効性を示すこと。
• 提案手法とPCAを比較し、次元削減において分類性能を維持する点での優位性を強調すること。

提案手法

• 著者らは分類問題を「レア日食問題」としてモデル化——非交差凸集合のランダム $M$ 次元射影が高確率で非交差のままであるような最小の $M$ を求める。
• 特に極錐の幾何学を用いた高次元凸幾何学の道具を用い、射影された凸包間の距離の境界を導出する。
• 楕円体に対しては、その支持行列の構造を活用し、楕円体間の距離と多項式係数を用いた $M$ の境界を導出する。
• 分離超平面の射影を扱い、三角不等式とフロベニウスノルムの推定を用いて射影誤差の境界を求める。
• 重要な要素として、分離超平面を特徴付けるために極錐 $\mathcal{C}_{-}^{*}$ を用い、正規ベクトルの射影への期待距離の境界を導出する。
• 測度の集中とガウス尾部確率を用いて、射影後の集合が非交差のままである確率を推定する。

実験結果

リサーチクエスチョン

• RQ1 2つの非交差凸集合がランダム射影後に高確率で線形分離可能であるための最小次元 $M$ は何か？
• RQ2 楕円体間の幾何的分離が、成功する圧縮分類に必要な測定数にどのように影響するか？
• RQ3 従来の研究とは異なり、データや分類器にスパarsityを仮定しない場合でも、線形分離性を保てるか？
• RQ4 次元削減において、提案手法はPCAと比較して分類性能をどの程度維持できるか？
• RQ5 極錐と射影誤差は、圧縮後に分離超平面が存続することを保証するために果たす役割は何か？

主な発見

• 本稿は、十分な相互分離を示す $k$ 個の楕円体が、$O(\log k)$ 次元への射影後でも非交差のままであることを確立している。
• 必要な射影次元は楕円体間の距離とその多項式係数に依存し、極錐解析を用いて導出された境界で与えられる。
• 分類器のクラス内データ点数に依存せず、高確率 $1 - \eta$ で線形分離性が保証される。
• 期待射影誤差は $\mathbb{E}_{g}[\|g - \Pi_{\mathcal{C}_{-}^{*}}(g)\|_2] \leq \frac{\|A_1\|_F + \|A_2\|_F}{\zeta - (\|A_1 e\|_2 + \|A_2 e\|_2)} + \frac{1}{\sqrt{2\pi}}$ で有界であり、ここで $\zeta$ は正規ベクトル方向の分離距離である。
• 本手法は高スペクトル画像において有効であることが示され、再構成に要する測定数よりもはるかに少ない測定数で分類が可能である。
• 特定のトイ例および実データにおいて、PCAを上回る性能を示しており、特に低次元凸体に存在するデータにおいて顕著である。