[论文解读] Robust Subspace Clustering via Thresholding

Reinhard Heckel, Helmut Bölcskei|arXiv (Cornell University)|Jul 18, 2013

Face and Expression Recognition被引用 10

一句话总结

该论文提出了一种基于阈值的子空间聚类方法（TSC），这是一种低复杂度算法，通过在球面距离下基于最近邻构建邻接矩阵，将高维数据聚类为子空间的并集。该方法在存在噪声和数据缺失的情况下仍能保证正确聚类，即使子空间存在交叠，且包含一种具有误差率理论保证的异常值检测方案。

ABSTRACT

The problem of clustering noisy and incompletely observed high-dimensional data points into a union of low-dimensional subspaces and a set of outliers is considered. The number of subspaces, their dimensions, and their orientations are assumed unknown. We propose a simple low-complexity subspace clustering algorithm, which applies spectral clustering to an adjacency matrix obtained by thresholding the correlations between data points. In other words, the adjacency matrix is constructed from the nearest neighbors of each data point in spherical distance. A statistical performance analysis shows that the algorithm exhibits robustness to additive noise and succeeds even when the subspaces intersect. Specifically, our results reveal an explicit tradeoff between the affinity of the subspaces and the tolerable noise level. We furthermore prove that the algorithm succeeds even when the data points are incompletely observed with the number of missing entries allowed to be (up to a log-factor) linear in the ambient dimension. We also propose a simple scheme that provably detects outliers, and we present numerical results on real and synthetic data.

研究动机与目标

• 开发一种计算高效的子空间聚类算法，能够处理存在噪声和缺失的高维数据。
• 在加性高斯噪声和数据缺失条件下，为聚类性能提供理论保证。
• 设计一种可证明正确的异常值检测方案用于子空间聚类。
• 分析子空间亲和度与可容忍噪声水平之间在聚类性能上的权衡。
• 将鲁棒性扩展至子空间相交的情形，克服先前方法的局限性。

提出的方法

• 通过在球面距离下使用最近邻对数据点之间的相关性进行阈值处理，构建邻接矩阵。
• 对经过阈值处理的邻接矩阵应用谱聚类，将数据点分配至各个子空间。
• 采用半随机数据模型，其中子空间为确定性设定，数据点从与每个子空间相交的单位球面上随机采样。
• 利用集中不等式和高斯尾部界分析数据点之间内积的行为。
• 推导出内点被正确聚类且外点可通过最大内积模值阈值检测的条件。
• 提出一种基于比较最大内积值与由对数正态界导出的阈值的两阶段异常值检测方案。

实验结果

研究问题

• RQ1 一种简单的基于阈值的方法是否能在高维数据的加性高斯噪声下实现可证明的聚类性能？
• RQ2 子空间亲和度与噪声容忍度之间在子空间聚类中的权衡关系是什么？
• RQ3 当每个数据点存在线性数量的缺失条目时，该算法是否仍能保持鲁棒性？
• RQ4 在给定模型下，该方法是否能以高概率成功检测异常值？
• RQ5 当子空间相交时（与先前工作的假设相反），该算法表现如何？

主要发现

• 只要噪声水平低于依赖于子空间亲和度和环境维度的阈值，TSC算法即可在存在加性高斯噪声的情况下可证明地正确聚类数据。
• 在缺失模式满足弱假设的前提下，当每个数据点缺失的条目数最多为对数因子量级的线性数量时，该方法仍能成功。
• 异常值检测以高概率成功，因为异常值与任意内点之间的最大内积模值与内点-内点内积之间存在明显分离。
• 即使子空间相交，该算法仍保持鲁棒性，这通过在一般子空间方向下的聚类误差理论分析得以证明。
• 理论边界表明，聚类和异常值检测的成功概率随每个子空间内内点数量的增加呈指数增长。
• 该方法在计算效率与理论性能之间实现了有利的权衡，其复杂度优于基于ℓ1的方法（如SSC和RSSC），同时保持了相似的理论保证。