[論文レビュー] Correlation Adaptive Subspace Segmentation by Trace Lasso

Canyi Lu, Jiashi Feng+2 more|arXiv (Cornell University)|Jan 18, 2015

Sparse and Compressive Sensing Techniques参考文献 19被引用数 4

ひとこと要約

本稿では、相関適応型部分空間セグメンテーション（CASS）を提案する。CASSは、部分空間セグメンテーションのためのアフィニティ行列学習において、スパarsityとグループ化効果を同時に強制するためのトレースlassoを用いる。ℓ¹およびℓ²正則化のバランスをデータに応じて適応的に調整することにより、CASSはブロック対角構造のアフィニティ行列を達成し、Extended Yale B や MNIST といったベンチマークデータセットで SSC や LRR、LSR より優れた性能を示す。MNIST では73.80%のクラスタリング精度、5人分の顔認識データでは94.03%の精度を達成した。

ABSTRACT

This paper studies the subspace segmentation problem. Given a set of data points drawn from a union of subspaces, the goal is to partition them into their underlying subspaces they were drawn from. The spectral clustering method is used as the framework. It requires to find an affinity matrix which is close to block diagonal, with nonzero entries corresponding to the data point pairs from the same subspace. In this work, we argue that both sparsity and the grouping effect are important for subspace segmentation. A sparse affinity matrix tends to be block diagonal, with less connections between data points from different subspaces. The grouping effect ensures that the highly corrected data which are usually from the same subspace can be grouped together. Sparse Subspace Clustering (SSC), by using $\ell^1$-minimization, encourages sparsity for data selection, but it lacks of the grouping effect. On the contrary, Low-Rank Representation (LRR), by rank minimization, and Least Squares Regression (LSR), by $\ell^2$-regularization, exhibit strong grouping effect, but they are short in subset selection. Thus the obtained affinity matrix is usually very sparse by SSC, yet very dense by LRR and LSR. In this work, we propose the Correlation Adaptive Subspace Segmentation (CASS) method by using trace Lasso. CASS is a data correlation dependent method which simultaneously performs automatic data selection and groups correlated data together. It can be regarded as a method which adaptively balances SSC and LSR. Both theoretical and experimental results show the effectiveness of CASS.

研究の動機と目的

• 既存の部分空間セグメンテーション手法が同時にスパarsityとグループ化効果を欠いているという限界を是正すること。
• データ相関に基づいてスパース表現とグループ選択のバランスを適応的に調整する手法を開発すること。
• スレーブクラスタリングのためのアフィニティ行列構築を、ブロック対角構造の促進によって改善すること。
• 複雑な部分空間構造を有する実世界データにおいて、SSC や LRR、LSR よりも高いセグメンテーション精度を達成すること。
• トレースlassoのグループ化効果が部分空間学習において理論的・実験的に裏付けられることを確立すること。

提案手法

• CASSは、スパarsityのためのℓ¹ノルムとグループ化のためのℓ²ノルムを組み合わせたトレースlasso正則化を用い、アフィニティ行列を学習する。
• この手法は、表現行列にトレースlassoペナルティを最小化する凸最適化問題を解くことで、スパarsityと相関に基づくグループ化の両方を促進する。
• 収束性とスケーラビリティを保証するため、交替方向乗数法（ADMM）フレームワークを用いて最適化を実行する。
• 解から得られるアフィニティ行列は、真の部分空間所属関係を反映した近似的にブロック対角構造を示す。
• この手法は相関に適応する設計となっており、データ構造に応じてスパarsityとグループ化のバランスを自動的に調整する。
• このアプローチは、学習されたアフィニティ行列を用いるスレーブクラスタリングフレームワーク内に適用される。

実験結果

リサーチクエスチョン

• RQ1 スパarsityとグループ化効果を同時に強制する手法が、部分空間セグメンテーション性能を向上させることができるか？
• RQ2 トレースlasso正則化はℓ¹およびℓ²ペナルティをどのようにバランスさせることで、アフィニティ行列構造を向上させるか？
• RQ3 提案されたCASS手法は、実世界のデータセットにおいてSSC、LRR、LSRよりも高いセグメンテーション精度を達成するか？
• RQ4 トレースlassoのグループ化効果は理論的に正当化可能であり、部分空間クラスタリングにおいて実験的に観察可能か？
• RQ5 CASSはラベル付きデータが限られた半教師あり学習設定においても効果的に適用可能か？

主な発見

• Extended Yale B データベースでは、CASSは5人分の顔認識クラスタリングで94.03%の精度を達成し、LSR や他のベースラインを上回った。
• 8人分および10人分のクラスタリングでは、それぞれ91.41%および81.88%の精度を達成し、SSC や LRR より顕著な改善を示した。
• MNIST データベースでは、CASSは73.80%のクラスタリング精度を達成し、比較されたすべての手法の中で最高であった。これは、データが部分空間に完全に適合していないにもかかわらずである。
• CASSが学習したアフィニティ行列は、視覚的および定量的にSSC や LRR や LSR が得たものよりもブロック対角に近く、構造学習の向上が確認された。
• 半教師あり学習では、CASSは全訓練データ設定で90%以上の分類精度を達成し、クラスタリングを超えた堅牢性と実用性を示した。
• 理論的分析により、部分空間が独立している場合にCASSが真のセグメンテーションを回復できることを確認し、一貫性が裏付けられた。