[论文解读] Greedy Subspace Clustering

Dohyung Park, Constantine Caramanis+1 more|arXiv (Cornell University)|Oct 31, 2014

Face and Expression Recognition参考文献 26被引用 57

一句话总结

本文提出了一种新型两阶段算法——贪婪子空间聚类（Greedy Subspace Clustering, GSC），结合最近子空间邻居（Nearest Subspace Neighbor, NSN）进行邻域选择，以及贪婪子空间恢复（Greedy Subspace Recovery, GSR）进行子空间估计。该方法在弱于先前方法的统计条件下实现了精确聚类，计算成本更低，并在运动分割和人脸聚类基准测试中表现出具有竞争力的性能。

ABSTRACT

We consider the problem of subspace clustering: given points that lie on or near the union of many low-dimensional linear subspaces, recover the subspaces. To this end, one first identifies sets of points close to the same subspace and uses the sets to estimate the subspaces. As the geometric structure of the clusters (linear subspaces) forbids proper performance of general distance based approaches such as K-means, many model-specific methods have been proposed. In this paper, we provide new simple and efficient algorithms for this problem. Our statistical analysis shows that the algorithms are guaranteed exact (perfect) clustering performance under certain conditions on the number of points and the affinity between subspaces. These conditions are weaker than those considered in the standard statistical literature. Experimental results on synthetic data generated from the standard unions of subspaces model demonstrate our theory. We also show that our algorithm performs competitively against state-of-the-art algorithms on real-world applications such as motion segmentation and face clustering, with much simpler implementation and lower computational cost.

研究动机与目标

• 解决数据点位于或接近低维子空间并集的子空间聚类问题。
• 克服一般基于距离的聚类方法（如K-means）因子空间几何结构带来的局限性。
• 提出一种新算法，在弱于现有最先进方法的条件下，提供可证明的精确聚类保证。
• 在保持真实世界数据集上具有竞争力性能的同时，降低计算成本和实现复杂度。

提出的方法

• 提出最近子空间邻居（NSN），通过选择与局部子空间结构最对齐的点来识别邻域集合，而非仅依赖欧氏距离接近度。
• 引入贪婪子空间恢复（GSR），一种贪心算法，通过迭代选择最符合当前估计的点来逐步构建子空间。
• 采用两阶段框架：NSN首先为每个点识别候选邻域，随后GSR从这些邻域中重构子空间。
• 将谱聚类作为GSR的替代方案，使用相同的NSN邻域构建相似性图。
• 利用几何与概率工具，包括Levy引理和浓度不等式，推导理论边界。
• 在两种模型下分析性能：完全随机子空间与半随机子空间，对子空间亲和度与点密度施加条件。

实验结果

研究问题

• RQ1 能否通过一种简单、贪心的算法，在弱于现有方法的理论条件下实现精确子空间聚类？
• RQ2 所提出的NSN方法在子空间相交或高度相关时，是否能可靠地识别出正确的邻域集合？
• RQ3 GSR算法能否在计算开销极小的前提下，从邻域集合中准确恢复子空间？
• RQ4 NSN+GSR流程在真实世界数据集（如运动序列和人脸图像）上的性能，与最先进算法相比如何？
• RQ5 精确聚类的理论条件是什么？与先前工作相比有何差异？

主要发现

• NSN+GSR算法在弱于先前方法的条件下保证精确聚类，具体要求为 $ \frac{d}{p} = O\left(\frac{\log n}{\log(ndL)}\right) $ 且 $ \max\mathrm{aff} = O\left(\sqrt{\frac{1}{(\log dL)\log(ndL)}}\right) $，其限制条件比SSC或TSC更宽松。
• 理论分析表明，NSN+GSR在标准子空间并集模型下，即使子空间相交，也能以高概率实现精确聚类。
• 在合成数据上的数值实验验证了理论预测，结果表明在推导条件下可实现完美聚类。
• 在真实世界数据集（如运动分割和人脸聚类）上，NSN+GSR的性能与最先进算法（如SSC和LRR）相当。
• 所提算法的计算成本显著低于现有方法，实现更简单，适用于大规模应用。
• NSN+Spectral变体在相似条件下也能实现精确聚类，表明邻域选择方法具有强鲁棒性。