[论文解读] Greedy Feature Selection for Subspace Clustering

Eva L. Dyer, Aswin C. Sankaranarayanan+1 more|arXiv (Cornell University)|Mar 19, 2013

Sparse and Compressive Sensing Techniques参考文献 23被引用 1

一句话总结

该论文提出了一种基于正交匹配追踪（OMP）的贪心特征选择方法，用于子空间聚类，证明了在特定条件下 OMP 可在子空间并集上实现精确特征选择（EFS）。研究表明，OMP 在稀疏子空间采样条件下显著优于最近邻（NN）方法，通过利用结构化稀疏性和基于相干性的恢复保证实现。

ABSTRACT

Unions of subspaces provide a powerful generalization to linear subspace models for collections of high-dimensional data. To learn a union of subspaces from a collection of data, sets of signals in the collection that belong to the same subspace must be identified in order to obtain accurate estimates of the subspace structures present in the data. Recently, sparse recovery methods have been shown to provide a provable and robust strategy for exact feature selection (EFS)--recovering subsets of points from the ensemble that live in the same subspace. In parallel with recent studies of EFS with L1-minimization, in this paper, we develop sufficient conditions for EFS with a greedy method for sparse signal recovery known as orthogonal matching pursuit (OMP). Following our analysis, we provide an empirical study of feature selection strategies for signals living on unions of subspaces and characterize the gap between sparse recovery methods and nearest neighbor (NN)-based approaches. In particular, we demonstrate that sparse recovery methods provide significant advantages over NN methods and the gap between the two approaches is particularly pronounced when the sampling of subspaces in the dataset is sparse. Our results suggest that OMP may be employed to reliably recover exact feature sets in a number of regimes where NN approaches fail to reveal the subspace membership of points in the ensemble.

研究动机与目标

• 解决高维数据中子空间并集下的准确子空间聚类挑战。
• 克服最近邻（NN）方法在稀疏子空间采样场景下的局限性。
• 通过 OMP 的贪心稀疏恢复提供精确特征选择（EFS）的理论保证。
• 量化分析稀疏恢复（如 OMP）与基于 NN 的方法在子空间聚类中的性能差距。
• 建立 OMP 可靠恢复各种子空间配置下精确特征集的充分条件。

提出的方法

• 将子空间聚类建模为稀疏恢复问题，其中每个数据点被表示为来自同一子空间的其他点的线性组合。
• 应用正交匹配追踪（OMP）这一贪心追踪算法，以恢复属于同一子空间的精确特征集（点集）。
• 推导出关于相互相干性和子空间几何结构的充分条件，以保证在每次 OMP 迭代中实现 EFS。
• 引入有界子空间并集假设，以收紧与其他子空间点之间的残差相干性边界。
• 利用结构化稀疏性和奇异值分解（SVD）建模子空间关系，并界定向子空间间的相关性。
• 利用霍尔德不等式和酉矩阵性质，推导出残差与来自不同子空间点之间相干性的上界。

实验结果

研究问题

• RQ1 在何种条件下 OMP 可在子空间并集中实现精确特征选择（EFS）？
• RQ2 基于 OMP 的特征选择在子空间聚类中与基于最近邻（NN）的方法相比，其定量表现如何？
• RQ3 在稀疏子空间采样条件下，稀疏恢复与 NN 方法之间的性能差距是什么？
• RQ4 能否通过基于相干性的分析，为基于 OMP 的 EFS 建立理论保证？
• RQ5 有界子空间并集如何影响残差与来自其他子空间点之间的相干性？

主要发现

• 当相互相干性、子空间几何结构以及子空间之间的夹角满足一个充分条件时，OMP 可实现精确特征选择（EFS）。
• 理论分析表明，即使最近邻（NN）方法失效，OMP 也能在稀疏子空间采样条件下恢复精确特征集。
• 实现 EFS 的一个关键条件是相互相干性必须被限制为子空间夹角和子空间簇覆盖半径的函数。
• 在有界子空间并集假设下，可通过谱范数和奇异值紧密界定向残差与来自其他子空间点之间的相干性。
• 当子空间被稀疏采样时，OMP 与 NN 方法之间的性能差距最为显著，此时 OMP 仍能保持准确性，而 NN 方法会失效。
• 残差相干性的推导边界仅在边界常数 γ 和奇异值 ℓ1-范数满足 γ∥σij∥1 < σmax ≤ 1 时具有信息量，从而确保稳定恢复。