[論文レビュー] Learning Robust Subspace Clustering

Qiang Qiu, Guillermo Sapiro|arXiv (Cornell University)|Aug 1, 2013

Face and Expression Recognition参考文献 31被引用数 5

ひとこと要約

本稿では、部分空間内の低ランク構造を回復させ、部分空間間の分離性を向上させるための線形変換を学習する、頑健な部分空間クラスタリングフレームワークを提案する。行列ランクの凸包としての核ノルムを最適化することで、実世界の汚染されたデータにおいてクラスタリング精度が向上し、顔認識およびモーショングラフ分類データセットにおいて、最先端の手法を著しく上回る性能を発揮する。

ABSTRACT

We propose a low-rank transformation-learning framework to robustify subspace clustering. Many high-dimensional data, such as face images and motion sequences, lie in a union of low-dimensional subspaces. The subspace clustering problem has been extensively studied in the literature to partition such high-dimensional data into clusters corresponding to their underlying low-dimensional subspaces. However, low-dimensional intrinsic structures are often violated for real-world observations, as they can be corrupted by errors or deviate from ideal models. We propose to address this by learning a linear transformation on subspaces using matrix rank, via its convex surrogate nuclear norm, as the optimization criteria. The learned linear transformation restores a low-rank structure for data from the same subspace, and, at the same time, forces a high-rank structure for data from different subspaces. In this way, we reduce variations within the subspaces, and increase separations between the subspaces for more accurate subspace clustering. This proposed learned robust subspace clustering framework significantly enhances the performance of existing subspace clustering methods. To exploit the low-rank structures of the transformed subspaces, we further introduce a subspace clustering technique, called Robust Sparse Subspace Clustering, which efficiently combines robust PCA with sparse modeling. We also discuss the online learning of the transformation, and learning of the transformation while simultaneously reducing the data dimensionality. Extensive experiments using public datasets are presented, showing that the proposed approach significantly outperforms state-of-the-art subspace clustering methods.

研究の動機と目的

• 低次元部分空間仮定を満たさない汚染されたり非理想的なデータが存在する状況における部分空間クラスタリングの課題に対処すること。
• 各部分空間内での低ランク構造を回復させるとともに、部分空間間のランクを向上させる線形変換を学習するフレームワークの構築。
• 学習済み変換を統合することで、既存の部分空間クラスタリング手法の性能を向上させること。
• 大規模または高次元データに対してスケーラビリティと効率性を確保するため、オンライン処理および次元削減を組み合わせた変換学習の変種を可能にすること。
• クラスタリングの性能向上に寄与するデータ固有の特徴を学習することで、他の分類およびクラスタリングタスクへも拡張可能な統一的アプローチを提供すること。

提案手法

• 変換行列 T が、変換後の部分空間内データ行列の核ノルムを最小化するように最適化される、低ランク変換学習問題として部分空間クラスタリングを定式化する。
• 行列ランクの凸包としての核ノルムを用いることで、効率的な最適化とノイズおよび外れ値に対する頑健性を実現する。
• 同じ部分空間からのデータに対して低ランク構造を促進し、異なる部分空間からのデータに対しては高ランク構造を促進する目的関数を設計する。
• ロバストPCAとス parser モデリングを統合した、新たな手法であるRobust Sparse Subspace Clustering (R-SSC) に学習済み変換を統合する。
• ミニバッチ勾配降下法とウォームリスタートを用いたオンライン学習を実装し、大規模データセットへのスケーラビリティを実現する。
• 変換行列 T を r×d のサイズに制約することで、同時に変換と次元削減を実現し、圧縮センシングスタイルの次元削減を可能にする（r < d）。

実験結果

リサーチクエスチョン

• RQ1 学習された線形変換は、理想の部分空間から逸脱する実世界のデータにおいて、低ランク構造を効果的に回復できるか？
• RQ2 部分空間内での低ランク構造と部分空間間での高ランク構造を強化する変換を学習することで、クラスタリング精度はどの程度向上するか？
• RQ3 提案されたRobust Subspace Clustering (RSC) フレームワークは、SSC などの最先端の部分空間クラスタリング手法をどの程度改善できるか？
• RQ4 クラスタリング性能を維持したまま、変換学習をオンライン処理および次元削減に適応可能か？
• RQ5 計算コストを低減しつつ高いクラスタリング精度を達成するための変換行列 T の最適なサイズは何か？

主な発見

• 拡張版YaleBデータセット（9名）において、提案手法のR-SSCは誤分類誤差を67.37％から4.94％に低減し、ベースラインのSSCを著しく上回った。
• 拡張版YaleBデータセットの2名の被験者において、RSC強化型R-SSCを用いることで、誤分類率は42.06％から0％に低下した。
• CMU Mocapモーショングラフ分類データセットにおいて、提案手法は誤分類率3.902％を達成した。これに対してSSCは21.8693％、LSAは17.8766％であった。
• オンライン学習バージョンは131.76秒で収束し、バッチ学習（700.27秒）と同等の目的関数値を達成した。これは大規模データ処理における効率性を示している。
• 次元削減の最適な変換行列サイズ r は、環境次元より小さいことが判明。2名の被験者では r=96 時に誤分類率が0％に低下し、3名の被験者では r=40 時に同様の結果が得られた。
• 本フレームワークは、変換と同時に次元削減を実現でき、r を低減させた際にクラスタリング精度がピークに達する。これは圧縮センシングやセンシング設計と強い関連性を示している。