[论文解读] Efficient Sparse Subspace Clustering by Nearest Neighbour Filtering

Stephen Tierney, Yi Guo+1 more|arXiv (Cornell University)|Apr 13, 2017

Face and Expression Recognition参考文献 47被引用 7

一句话总结

本文提出 k-SSC，一种稀疏子空间聚类（SSC）的可扩展近似方法，通过在应用 SSC 前使用 k-最近邻（k-NN）过滤数据点，将 O(N²) 的内存和计算复杂度降低至 O(N)。该方法在保持 SSC 聚类精度的同时显著提升了效率，在合成数据集和真实世界数据集（包括高光谱、运动分割和人脸聚类任务）上优于现有近似方法。

ABSTRACT

Sparse Subspace Clustering (SSC) has been used extensively for subspace identification tasks due to its theoretical guarantees and relative ease of implementation. However SSC has quadratic computation and memory requirements with respect to the number of input data points. This burden has prohibited SSCs use for all but the smallest datasets. To overcome this we propose a new method, k-SSC, that screens out a large number of data points to both reduce SSC to linear memory and computational requirements. We provide theoretical analysis for the bounds of success for k-SSC. Our experiments show that k-SSC exceeds theoretical expectations and outperforms existing SSC approximations by maintaining the classification performance of SSC. Furthermore in the spirit of reproducible research we have publicly released the source code for k-SSC

研究动机与目标

• 解决稀疏子空间聚类（SSC）的高计算和内存开销问题，其复杂度随数据规模呈二次方增长，限制了其在大规模数据集上的应用。
• 开发一种 SSC 的可扩展近似方法，在大幅降低资源需求的同时保持其理论保证和聚类性能。
• 实现在大规模数据集（如高光谱成像、运动分割和高维人脸数据）上 SSC 的实际部署。
• 在噪声和采样条件下，提供 k-SSC 方法成功性的理论边界。
• 通过公开发布 k-SSC 的源代码，确保研究的可复现性。

提出的方法

• 对每个样本应用 k-最近邻（k-NN）过滤，预先选择最相关的数据点，从而减少稀疏表示的候选集。
• 仅使用 k-NN 邻居构建缩减后的亲和矩阵，从而将系数矩阵 Z 的大小限制在 O(N) 而非 O(N²)。
• 对过滤后的数据应用标准 SSC 优化：在满足 diag(Z) = 0 的条件下，最小化 λ‖Z‖₁ + ½‖X - XZ‖²_F，其中 Z 现在为 N×k 的稀疏矩阵。
• 在最终的亲和矩阵上使用谱聚类来分配子空间标签，保留 SSC 的聚类流程。
• 理论分析表明，若采样充分且噪声有界，k-SSC 可实现与 SSC 相同的子空间识别性能。
• k-NN 过滤步骤通过剔除遥远的、可能具有误导性的点，起到降噪作用。

实验结果

研究问题

• RQ1 k-NN 过滤策略是否能有效将 SSC 的计算和内存复杂度从 O(N²) 降低至 O(N)，同时不损失聚类精度？
• RQ2 在何种理论条件下，k-SSC 能够保持与 SSC 相同的子空间识别性能？
• RQ3 在大规模数据集上，k-SSC 与现有 SSC 近似方法（如 TSC、SSSC、GSC）相比，在聚类精度和运行时间方面表现如何？
• RQ4 k-SSC 的激进过滤是否能提升对真实世界数据（如带有阴影的人脸图像）中噪声和遮挡的鲁棒性？
• RQ5 k-SSC 是否能在高光谱、运动和人脸聚类等多样化数据类型任务上保持高性能？

主要发现

• k-SSC 将内存和计算需求从 O(N²) 降低至 O(N)，实现了大规模数据集的高效处理。
• 在半合成高光谱 TIR 数据集上，k-SSC 紧密跟踪 SSC 的性能，并在均值、中值、最大值和最小值误差指标上优于所有其他近似方法。
• 在大规模热成像分割实验中，k-SSC 的运行时间与 TSC 和 SSSC 相当，同时保持了高精度。
• 在 Hopkins 155 运动分割数据集上，随着 PSNR 下降，k-SSC 保持与 SSC 相当的性能，表现出对噪声的鲁棒性。
• 在 Extended Yale B 人脸数据集上，k-SSC 的平均误差为 22.3%，优于 SSC（28.1%）及其他所有近似方法，这可能是由于 k-NN 实现了有效的噪声过滤。
• k-SSC 的源代码已公开发布于 GitHub，支持可复现研究和社区采纳。