[論文レビュー] Scalable Sparse Subspace Clustering by Orthogonal Matching Pursuit

Chong You, Daniel P. Robinson+1 more|arXiv (Cornell University)|Jul 5, 2015

Sparse and Compressive Sensing Techniques参考文献 42被引用数 23

ひとこと要約

本稿では、直交一致追跡（OMP）を用いて部分空間を保存する類似度を効率的に達成するスケーラブルなスパース部分空間クラスタリング手法、SSC-OMPを提案する。理論的に、OMPが独立または十分に分離された部分空間などの広範な条件下で部分空間保存性を保証することを示し、計算効率を維持したまま、MNIST や顔画像などの実世界データセットにおいて、$β$-正則化手法よりも精度と速度で優れている。

ABSTRACT

Subspace clustering methods based on $\ell_1$, $\ell_2$ or nuclear norm regularization have become very popular due to their simplicity, theoretical guarantees and empirical success. However, the choice of the regularizer can greatly impact both theory and practice. For instance, $\ell_1$ regularization is guaranteed to give a subspace-preserving affinity (i.e., there are no connections between points from different subspaces) under broad conditions (e.g., arbitrary subspaces and corrupted data). However, it requires solving a large scale convex optimization problem. On the other hand, $\ell_2$ and nuclear norm regularization provide efficient closed form solutions, but require very strong assumptions to guarantee a subspace-preserving affinity, e.g., independent subspaces and uncorrupted data. In this paper we study a subspace clustering method based on orthogonal matching pursuit. We show that the method is both computationally efficient and guaranteed to give a subspace-preserving affinity under broad conditions. Experiments on synthetic data verify our theoretical analysis, and applications in handwritten digit and face clustering show that our approach achieves the best trade off between accuracy and efficiency.

研究の動機と目的

• 計算効率が良く、部分空間保存性の理論的保証を維持する部分空間クラスタリング手法の開発。
• SSC における $β$-正則化ベースのプルーリングを、スケーラビリティの向上を図るため、直交一致追跡（OMP）に置き換え。
• 任意の部分空間や汚染された部分空間に対しても、OMP が部分空間保存表現を生成する理論的条件の確立。
• SSC-BP や LSR、LRR といった既存手法と比較して、精度と効率のトレードオフが優れていることを実データ上で示すこと。

提案手法

• SSC-BP におけるベースのプルーリングを置き換え、スパース表現問題を解くために直交一致追跡（OMP）を用いる。
• 各データポイントを最もよく表現するデータ行列 $X$ のアトムを反復的に選択することで、係数行列 $C$ のスパarsity と対角成分がゼロであることを強制する。
• スペクトルクラスタリング用に、$w_{ij} = |c_{ij}| + |c_{ji}|$ を用いて類似度行列 $W$ を構築する。
• 部分空間が独立または十分に分離されている場合、OMP が部分空間保存性を持つ $C$ を得ることを証明する。
• ランダム行列理論と集中不等式を用いて、コherenCe と表現誤差の確率的バウンドを導出する。
• 大規模な凸最適化を回避するグリーディー選択戦略を採用することで、大規模データセットへのスケーラビリティを実現する。

実験結果

リサーチクエスチョン

• RQ1 直交一致追跡（OMP）がスパース部分空間クラスタリングにおいて、どのような条件下で部分空間保存表現を生成するか？
• RQ2 SSC-OMP のクラスタリング精度と計算効率は、SSC-BP や LSR、LRR と比較してどの程度か？
• RQ3 $β$-正則化手法よりも弱い仮定のもとでも、OMP が部分空間保存性の理論的保証を達成できるか？
• RQ4 部分空間の分離度とデータ分布の影響は、OMP が部分空間クラスタリングで成功する要因にどのように寄与するか？

主な発見

• 部分空間が独立または十分に分離されている場合、任意の部分空間次元や汚染されたデータに対しても、SSC-OMP は部分空間保存類似度を保証する。
• MNIST デジットクラスタリングおよび顔画像クラスタリングデータセットにおいて、最先端の精度を達成し、SSC-BP や LSR、LRSC を上回っている。
• 合成データにおいては、SSC-OMP は SSC-BP の理論的保証を再現しつつ、特に大規模問題において顕著に高速である。
• 理論的分析により、OMP が部分空間保存性を満たす十分条件（コヒーレンスと表現誤差を介して）が、先行研究よりも強く、より広範な適用可能性を示している。
• 実験結果により、後処理を組み合わせた場合、ノイズや外れ値で汚染されたデータに対しても、OMP は高いクラスタリング精度を維持している。
• 凸最適化を回避しているため、大規模データセットへのスケーリングが効率的であり、実世界の応用に適している。