[論文レビュー] Sparse Subspace Clustering: Algorithm, Theory, and Applications

Ehsan Elhamifar, Renè Vidal|arXiv (Cornell University)|Mar 5, 2012

Face and Expression Recognition参考文献 57被引用数 21

ひとこと要約

この論文は、スパース表現を活用して、低次元部分空間の和に存在する高次元データをクラスタリングするSparse Subspace Clustering (SSC) を提案する。各データポイントは、同じ部分空間に属する他のデータポイントのスパース線形結合として表現される。この手法はℓ₁最小化を用いてスパース係数を回復し、類似度グラフを構築し、スペクトルクラスタリングを適用することで、ノイズ、外れ値、欠損データに対して頑健であるにもかかわらず、動き認識および顔認識の分野で最先端の性能を達成する。

ABSTRACT

In many real-world problems, we are dealing with collections of high-dimensional data, such as images, videos, text and web documents, DNA microarray data, and more. Often, high-dimensional data lie close to low-dimensional structures corresponding to several classes or categories the data belongs to. In this paper, we propose and study an algorithm, called Sparse Subspace Clustering (SSC), to cluster data points that lie in a union of low-dimensional subspaces. The key idea is that, among infinitely many possible representations of a data point in terms of other points, a sparse representation corresponds to selecting a few points from the same subspace. This motivates solving a sparse optimization program whose solution is used in a spectral clustering framework to infer the clustering of data into subspaces. Since solving the sparse optimization program is in general NP-hard, we consider a convex relaxation and show that, under appropriate conditions on the arrangement of subspaces and the distribution of data, the proposed minimization program succeeds in recovering the desired sparse representations. The proposed algorithm can be solved efficiently and can handle data points near the intersections of subspaces. Another key advantage of the proposed algorithm with respect to the state of the art is that it can deal with data nuisances, such as noise, sparse outlying entries, and missing entries, directly by incorporating the model of the data into the sparse optimization program. We demonstrate the effectiveness of the proposed algorithm through experiments on synthetic data as well as the two real-world problems of motion segmentation and face clustering.

研究の動機と目的

• コンピュータビジョンや機械学習において一般的に見られる、複数の低次元部分空間に沿って存在する高次元データのクラスタリングという課題に対処すること。
• 事前処理を必要とせず、ノイズ、スパース外れ値、欠損値といったデータの不具合に対しても頑健なクラスタリングアルゴリズムを開発すること。
• 適切な部分空間およびデータ分布の条件下で、正しいスパース表現を回復できる理論的裏付けのある手法を提供すること。
• 実世界のデータセット（例：動きのシーケンスや顔画像）において、既存の部分空間クラスタリング手法よりも精度および計算効率の面で優れていること。
• 腐損モデル（例：スパース外れ値）を最適化フレームワークに直接統合し、エンド・ツー・エンドの頑健なクラスタリングを可能にすること。

提案手法

• 各データポイントを、ℓ₁最小化を用いて、同じ部分空間に属する他の点のスパース線形結合として表現する。
• スパース係数行列から類似度グラフを構築し、エッジが部分空間の所属関係を反映するようにする。
• スペクトルクラスタリングをグラフに適用して、潜在的な部分空間に対応するクラスタにデータを分割する。
• 計算の実行可能性を確保するため、スパース最適化問題を凸なℓ₁最小化問題に緩和する。
• ノイズ、スパース外れ値、欠損データのモデルを最適化式に直接組み込むことで、頑健性を実現する。
• 理論的分析により、部分空間間の主な角度およびデータ分布に適切な条件下では、正しいスパース表現が回復されることを示している。

実験結果

リサーチクエスチョン

• RQ1 スパース表現は、高次元データにおいて、同じ部分空間に属する点を効果的に同定できるか？
• RQ2 どのような幾何的および分布的条件下で、スパース表現が正しい部分空間構造を回復するのか？
• RQ3 腐損を含む実世界のデータに対して、提案されたSSCアルゴリズムは最先端の手法と比べてどのように性能を発揮するか？
• RQ4 事前処理を施さずに、ノイズ、スパース外れ値、欠損値を含むデータを処理できるか？
• RQ5 データの不具合が存在する状況下で、ℓ₁最小化による部分空間回復に理論的保証はあるか？

主な発見

• 拡張されたYale B顔データセットにおいて、SSCは2名の被験者に対して0.00%の中央値クラスタリング誤差、3名で1.04%、5名で2.50%、8名で4.49%、10名で5.63%を達成し、LRR、LRR-H、LRSC、SCC、LSAを上回った。
• 動きセグメンテーションにおいて、SSCはHopkins 155データセットで優れた性能を示し、部分空間の交差領域付近のデータやノイズの多い軌道に対しても効果的に対処できた。
• SSCは、腐損を最適化に直接モデル化することで、スパース外れ値および欠損データに対して頑健であった。これに対して、LSA や SCC はこのようなメカニズムを欠いていた。
• アルゴリズムの計算時間は低く、スケーラブルであり、部分空間次元に指数関数的に増加する複雑性を示すSCCを上回り、LRR や LRSC といった効率的な凸ソルバーよりも同等の性能を発揮した。
• 理論的分析により、部分空間間の十分な角度の分離および一様なデータ分布といった好都合な条件下では、スパース表現が正しい部分空間構造を回復することが確認された。
• 実験により、同じ部分空間に属するデータポイントが類似度グラフにおいて一貫して1つの連結成分を形成することが示され、アルゴリズムのクラスタリングの信頼性を裏付けた。