[论文解读] Graph Connectivity in Noisy Sparse Subspace Clustering

Yining Wang, Yu-Xiang Wang+1 more|arXiv (Cornell University)|Apr 4, 2015

Sparse and Compressive Sensing Techniques被引用 3

一句话总结

本文提出了一种针对噪声稀疏子空间聚类（SSC）的后处理程序，通过基于角度距离合并子空间，在一般位置或限制特征值假设下确保精确聚类。该方法在具有对抗性噪声的完全确定性模型下，首次为维度大于3的子空间提供了精确聚类保证。

ABSTRACT

Subspace clustering is the problem of clustering data points into a union of low-dimensional linear/affine subspaces. It is the mathematical abstraction of many important problems in computer vision, image processing and machine learning. A line of recent work (4, 19, 24, 20) provided strong theoretical guarantee for sparse subspace clustering (4), the state-of-the-art algorithm for subspace clustering, on both noiseless and noisy data sets. It was shown that under mild conditions, with high probability no two points from different subspaces are clustered together. Such guarantee, however, is not sufficient for the clustering to be correct, due to the notorious "graph connectivity problem" (15). In this paper, we investigate the graph connectivity problem for noisy sparse subspace clustering and show that a simple post-processing procedure is capable of delivering consistent clustering under certain "general position" or "restricted eigenvalue" assumptions. We also show that our condition is almost tight with adversarial noise perturbation by constructing a counter-example. These results provide the first exact clustering guarantee of noisy SSC for subspaces of dimension greater then 3.

研究动机与目标

• 解决噪声稀疏子空间聚类中的图连通性问题，其中标准SSC可能因连通分量断裂而导致过度分割。
• 在无噪声统计假设的完全确定性数据模型下，为噪声SSC提供精确聚类的理论保证。
• 表明一种简单的后处理步骤——基于角度距离合并子空间——可在高概率下恢复正确聚类。
• 通过对抗性噪声扰动下的反例，证明所推导条件的近似紧致性。
• 在子空间维度超过3的情况下，首次建立噪声SSC的可证明精确聚类保证。

提出的方法

• 提出一种后处理步骤，为SSC图的每个连通分量计算低维子空间，并基于子空间间的小角度距离进行合并。
• 在任意d点子集的最小奇异值上使用限制特征值假设，以确保对噪声的鲁棒性。
• 采用一般位置假设，以确保同一子空间中的数据点不会以破坏连通性的方式线性相关。
• 在初始稀疏图上应用谱聚类，随后基于子空间相似性进行合并阶段。
• 使用基于Lasso的稀疏表示构建初始图，并通过调节稀疏参数λ以增强对噪声的鲁棒性。
• 在合成数据上验证该方法，数据包含R^n中的两个4维子空间，使用归一化数据并添加高斯噪声。

实验结果

研究问题

• RQ1 当原始图不连通时，后处理步骤是否能恢复噪声SSC中的图连通性？
• RQ2 在子空间维度大于3的噪声SSC中，精确聚类在何种条件下可被保证？
• RQ3 理论条件在对抗性噪声下的紧致性如何，尤其是其近似程度？
• RQ4 所提出的方法是否可在无噪声统计假设下实现完美聚类？
• RQ5 限制特征值假设是否必要，或在随机噪声模型下可被放宽？

主要发现

• 所提出的后处理方法在无噪声数据上达到99%的聚类准确率，在有噪声数据上达到93%，显著优于原始Lasso SSC（无后处理时为77%）。
• 子空间检测特性（SEP）的相对违反程度较低（有噪声数据上为0.09），表明性能不佳并非源于SEP失败，而是源于图的不连通性。
• 在对抗性噪声下的反例表明，限制特征值条件近乎紧致，因为放松该条件将导致聚类失败。
• 该方法首次在完全确定性模型下，为维度大于3的噪声SSC提供了精确聚类保证。
• 理论分析表明，在一般位置或限制特征值假设下，后处理步骤可高概率恢复真实聚类。
• 结果表明，只要保留主导子空间方向以供合并，稀疏表示的支持大小可放宽至低于d+1个点。