[論文レビュー] Sparse Subspace Clustering by Orthogonal Matching Pursuit.

Chong You, Renè Vidal|arXiv (Cornell University)|Jul 5, 2015

Sparse and Compressive Sensing Techniques参考文献 16被引用数 5

ひとこと要約

この論文は、任意の部分空間において正しくクラスタリングを保証する計算効率の高いスパース部分空間クラスタリング手法を提案している。正則化手法 $ε$ よりも精度とスケーラビリティの面で優れている。100,000点のデータセットを含む大規模データセットにおいて、最新の性能を発揮し、独立部分空間やクリーンなデータといった強い仮定を必要としない。

ABSTRACT

Subspace clustering methods based on $\ell_1$, $\ell_2$ or nuclear norm regularization have become very popular due to their simplicity, theoretical guarantees and empirical success. However, the choice of the regularizer can greatly impact both theory and practice. For instance, $\ell_1$ regularization is guaranteed to give the correct clustering under broad conditions (e.g., arbitrary subspaces and corrupted data), but requires solving a large scale convex optimization problem. On the other hand, $\ell_2$ and nuclear norm regularization provide efficient closed form solutions, but require very strong assumptions to guarantee the correct clustering (e.g., independent subspaces and uncorrupted data). This paper proposes a new subspace clustering method based on orthogonal matching pursuit that is computationally efficient and guaranteed to provide the correct clustering for arbitrary subspaces. Experiments on synthetic data verify our theoretical analysis, and applications in handwritten digit and face clustering show that our approach achieves the best trade off between accuracy and efficiency. Moreover, our approach is the only one that can handle 100,000 points.

研究の動機と目的

• 部分空間クラスタリングにおける計算効率と理論的保証のトレードオフを解決すること。
• $ε$-正則化手法の限界を克服し、正しくクラスタリングするための強い仮定（例：独立部分空間、汚染されていないデータ）を必要としないこと。
• $ε$-正則化の理論的頑健性と閉形式解の計算効率を組み合わせた手法を開発すること。
• 大規模データセット、特に100,000点のデータセットにおいてもスケーラブルな部分空間クラスタリングを実現すること。ここでは、従来の手法が失敗するか、処理が遅すぎる。

提案手法

• 部分空間クラスタリングにおけるスパース表現問題を解くために、直交マッチング Pursuit (OMP) を適用し、残差を最もよく表現するアトムを反復的に選択する。
• OMPを用いて、他の点を用いた表現としてのスパース表現を計算し、自己表現表現行列を構築する。
• 得られた表現行列に対してスペクトルクラスタリングを適用し、最終的なクラスタリングを取得する。
• OMPのグリーディ選択プロセスを活用することで、大規模な凸最適化問題を解くのと比べて低い計算コストを実現する。
• 理論的分析により、広範な条件下（任意の部分空間、汚染されたデータ）で、OMPが正しくスパース表現を回復できることを示した。
• 大規模な凸プログラムを解くのを避けるために、$ε$-正則化の代わりにグリーディなプルーリング戦略を採用した。

実験結果

リサーチクエスチョン

• RQ1 任意の部分空間や汚染されたデータのもとでも、$ε$-正則化手法と同等の理論的保証を達成できるか、グリーディなプルーリング手法（例：OMP）は正しいクラスタリングを保証できるか？
• RQ2 凸最適化に基づくアプローチと比較して、OMPに基づく部分空間クラスタリングは、計算コストを著しく削減しながらも高い精度を維持できるか？
• RQ3 他の手法が失敗するか不適切な場合でも、OMPに基づくクラスタリングは大規模データセット（特に100,000点）にスケーリング可能か？
• RQ4 実世界のデータ（手書き数字や顔画像など）において、OMPベースのクラスタリングは$ε$-正則化および$ε^2$-正則化手法と比較して、精度と効率の面でどのように異なるか？
• RQ5 データの汚染や部分空間構造の影響は、OMPベースの手法のクラスタリング性能にどのように影響するか？

主な発見

• OMPベースの手法は、任意の部分空間やデータ汚染の下でも、$ε$-正則化手法と同等の理論的保証を達成し、正しくクラスタリングを保証する。
• この手法は計算的に効率的であり、100,000点のデータポイントまでスケーリング可能であり、他の最先端手法では達成できなかった能力を持つ。
• 合成データにおいて、理論的分析が正しく検証され、さまざまな条件下で部分空間構造が正しく回復された。
• 顔画像および手書き数字のクラスタリングタスクにおいて、比較したすべての手法の中で、精度と効率のバランスが最も優れている。
• 速度とスケーラビリティの面で、$ε^2$-正則化および$ε$-正則化アプローチを上回り、同時にクラスタリング精度を維持または向上させた。