[论文解读] Accelerated Sparse Subspace Clustering

Abolfazl Hashemi, Haris Vikalo|arXiv (Cornell University)|Oct 31, 2017

Face and Expression Recognition参考文献 18被引用 5

一句话总结

本文提出加速稀疏子空间聚类（ASSC），一种快速且准确的算法，利用加速的正交匹配追踪（OLS）变体构建保持子空间结构的相似性矩阵，以对位于子空间并集上的高维数据进行聚类。ASSC 的运行时间与基于 OMP 的方法相当，但在准确性上显著优于后者，尤其在子空间重叠情况下表现更优，且在准确性上与基于 BP 的方法相当，同时实现了数量级的加速。

ABSTRACT

State-of-the-art algorithms for sparse subspace clustering perform spectral clustering on a similarity matrix typically obtained by representing each data point as a sparse combination of other points using either basis pursuit (BP) or orthogonal matching pursuit (OMP). BP-based methods are often prohibitive in practice while the performance of OMP-based schemes are unsatisfactory, especially in settings where data points are highly similar. In this paper, we propose a novel algorithm that exploits an accelerated variant of orthogonal least-squares to efficiently find the underlying subspaces. We show that under certain conditions the proposed algorithm returns a subspace-preserving solution. Simulation results illustrate that the proposed method compares favorably with BP-based method in terms of running time while being significantly more accurate than OMP-based schemes.

研究动机与目标

• 为解决基于基追踪（BP）的稀疏子空间聚类在大规模数据上计算效率低下的问题。
• 克服基于 OMP 的方法在子空间高度相似或存在子空间重叠时性能不佳的问题。
• 开发一种可扩展、快速且准确的现有 SSC 算法替代方案，同时保持子空间保持特性。
• 为在独立子空间假设下子空间保持性提供理论依据。

提出的方法

• 该方法采用正交匹配追踪（OLS）的加速变体，利用其他数据点作为字典，计算每个数据点的稀疏表示。
• 通过在数据矩阵中贪婪地、迭代地选择原子，求解稀疏表示问题，构建相似性矩阵。
• 算法采用改进的残差更新和揭示秩的 QR 分解，以增强数值稳定性和收敛速度。
• 最终得到的表示矩阵用作谱聚类的相似性矩阵，从而获得最终聚类结果。
• 该方法设计为可扩展且高效，其计算复杂度显著低于基于 BP 的方法。
• 理论分析表明，在独立子空间条件下，解具有子空间保持性。

实验结果

研究问题

• RQ1 像加速 OLS 这类快速贪婪算法能否在稀疏子空间聚类中实现与凸优化（BP）相当的子空间保持表示？
• RQ2 所提出方法在聚类准确性和运行时间方面与基于 BP 和基于 OMP 的 SSC 相比表现如何？
• RQ3 当子空间非独立且不同子空间的数据点高度相似时，所提出方法是否仍保持鲁棒性？
• RQ4 在何种条件下，加速 OLS 方法能产生子空间保持解？
• RQ5 所提出方法能否在保持聚类准确性的同时高效扩展至大规模数据集？

主要发现

• ASSC 的运行时间与 SSC-OMP 相当，且在大规模数据集上（最多 5,000 个点）比 SSC-BP 快出数量级，尤其在大样本下优势显著。
• 在子空间独立的场景下，ASSC 达到与 SSC-BP 相当的子空间保持率和误差，且显著优于 SSC-OMP 的准确性。
• 当子空间相关或数据点高度相似时，SSC-OMP 性能严重下降，而 ASSC 保持高准确性和鲁棒性。
• 在所有测试设置中，ASSC（L=2）的聚类准确性均优于 SSC-BP 和 SSC-OMP。
• ASSC 的子空间保持误差始终低于 SSC-OMP，且与 SSC-BP 相当，验证了其在独立子空间条件下的理论保证。
• 该方法具备可扩展性，适用于大规模数据，如从 250 到 5,000 个点的数据规模中均表现出一致的性能。