[論文レビュー] Greedy Feature Selection for Subspace Clustering

Eva L. Dyer, Aswin C. Sankaranarayanan+1 more|arXiv (Cornell University)|Mar 19, 2013

Sparse and Compressive Sensing Techniques参考文献 23被引用数 1

ひとこと要約

本稿では、部分空間の直和における正確な特徴選択（EFS）を達成するための、直交一致 Pursuit（OMP）を用いたグリーディ特徴選択法を提案する。理論的条件下で、OMPがEFSを達成できることを示し、構造的スパarsityとコherー二ンスに基づく回復保証を活用することで、特にスパース部分空間サンプリング下で最近傍（NN）手法を著しく上回ることを示している。

ABSTRACT

Unions of subspaces provide a powerful generalization to linear subspace models for collections of high-dimensional data. To learn a union of subspaces from a collection of data, sets of signals in the collection that belong to the same subspace must be identified in order to obtain accurate estimates of the subspace structures present in the data. Recently, sparse recovery methods have been shown to provide a provable and robust strategy for exact feature selection (EFS)--recovering subsets of points from the ensemble that live in the same subspace. In parallel with recent studies of EFS with L1-minimization, in this paper, we develop sufficient conditions for EFS with a greedy method for sparse signal recovery known as orthogonal matching pursuit (OMP). Following our analysis, we provide an empirical study of feature selection strategies for signals living on unions of subspaces and characterize the gap between sparse recovery methods and nearest neighbor (NN)-based approaches. In particular, we demonstrate that sparse recovery methods provide significant advantages over NN methods and the gap between the two approaches is particularly pronounced when the sampling of subspaces in the dataset is sparse. Our results suggest that OMP may be employed to reliably recover exact feature sets in a number of regimes where NN approaches fail to reveal the subspace membership of points in the ensemble.

研究の動機と目的

• 高次元データにおける部分空間の直和の下での正確な部分空間クラスタリングの課題に取り組む。
• スパース部分空間サンプリング領域における最近傍（NN）手法の限界を克服する。
• グリーディスパース回復による正確な特徴選択（EFS）の理論的保証を提供する。
• スパース回復（例：OMP）とNNベースのアプローチとの間の性能ギャップを特定する。
• さまざまな部分空間構成において、OMPが正確な特徴集合を信頼性高く回復できる十分条件を確立する。

提案手法

• 各データポイントを同じ部分空間に属する他のポイントの線形結合として表現することで、部分空間クラスタリングをスパース回復問題として定式化する。
• 直交一致 Pursuit（OMP）というグリーディプルーサルアルゴリズムを用い、同じ部分空間に属する正確な特徴（ポイント）の集合を回復する。
• 各OMP反復においてEFSを保証するための、相互コヒーレンスおよび部分空間幾何学に関する十分条件を導出する。
• 残差コヒーレンスを他の部分空間からのポイントと結びつけるために、部分空間の有界な直和仮定を導入する。
• 構造的スパarsityと特異値分解（SVD）を用いて部分空間関係をモデル化し、クロス部分空間相関を束縛する。
• ホルダーの不等式とユニタリ行列の性質を活用して、異なる部分空間からのポイントと残差間のコヒーレンスの上界を導出する。

実験結果

リサーチクエスチョン

• RQ1 OMPは部分空間の直和において、どのような条件下で正確な特徴選択（EFS）を達成するか？
• RQ2 部分空間クラスタリングにおいて、OMPベースの特徴選択は最近傍（NN）ベースの手法と定量的にどのように比較されるか？
• RQ3 スパース部分空間サンプリング下で、スパース回復とNN手法との間の性能ギャップは何か？
• RQ4 コヒーレンスに基づく解析を用いて、OMPベースのEFSの理論的保証を確立できるか？
• RQ5 有界な部分空間の直和は、残差と異なる部分空間からのポイント間のコヒーレンスにどのように影響するか？

主な発見

• 相互コヒーレンス、部分空間幾何学、および部分空間間の角度に依存する十分条件を満たせば、OMPは部分空間の直和において正確な特徴選択（EFS）を達成する。
• 理論的解析により、最近傍（NN）手法が失敗する状況でも、特にスパース部分空間サンプリング下で、OMPが正確な特徴集合を回復できることを示している。
• EFSのための重要な条件は、相互コヒーレンスが部分空間の角度と部分空間クラスタの被覆半径の関数によって上限付けられていることである。
• 有界な部分空間の直和仮定のもとでは、スペクトルノルムと特異値を用いて、残差と他の部分空間からのポイント間のコヒーレンスをきめ細かく束縛できる。
• 部分空間がスパースにサンプリングされる状況では、OMPとNN手法との性能ギャップが顕著に現れ、OMPはNNが失敗する状況でも精度を維持する。
• 導出された残差コヒーレンスの上限は、定数γと特異値のℓ1ノルムがγ∥σij∥1 < σmax ≤ 1を満たす場合にのみ有用であり、これは安定な回復を保証する。