[论文解读] Learning Robust Subspace Clustering

Qiang Qiu, Guillermo Sapiro|arXiv (Cornell University)|Aug 1, 2013

Face and Expression Recognition参考文献 31被引用 5

一句话总结

本文提出了一种鲁棒子空间聚类框架，通过学习线性变换来恢复子空间内的低秩结构并增强子空间间的可分性。通过使用核范数作为矩阵秩的凸近似进行优化，该方法在受污染的真实世界数据上显著提升了聚类准确率，在人脸和动作分割数据集上明显优于当前最先进方法。

ABSTRACT

We propose a low-rank transformation-learning framework to robustify subspace clustering. Many high-dimensional data, such as face images and motion sequences, lie in a union of low-dimensional subspaces. The subspace clustering problem has been extensively studied in the literature to partition such high-dimensional data into clusters corresponding to their underlying low-dimensional subspaces. However, low-dimensional intrinsic structures are often violated for real-world observations, as they can be corrupted by errors or deviate from ideal models. We propose to address this by learning a linear transformation on subspaces using matrix rank, via its convex surrogate nuclear norm, as the optimization criteria. The learned linear transformation restores a low-rank structure for data from the same subspace, and, at the same time, forces a high-rank structure for data from different subspaces. In this way, we reduce variations within the subspaces, and increase separations between the subspaces for more accurate subspace clustering. This proposed learned robust subspace clustering framework significantly enhances the performance of existing subspace clustering methods. To exploit the low-rank structures of the transformed subspaces, we further introduce a subspace clustering technique, called Robust Sparse Subspace Clustering, which efficiently combines robust PCA with sparse modeling. We also discuss the online learning of the transformation, and learning of the transformation while simultaneously reducing the data dimensionality. Extensive experiments using public datasets are presented, showing that the proposed approach significantly outperforms state-of-the-art subspace clustering methods.

研究动机与目标

• 解决在违反低维子空间假设的受污染或非理想数据下子空间聚类的挑战。
• 开发一种框架，学习线性变换以恢复每个子空间内的低秩结构并增强子空间间的秩。
• 通过将学习到的变换集成到鲁棒聚类流程中，提升现有子空间聚类方法的性能。
• 实现变换学习的在线处理和降维变体，以提升在大规模或高维数据上的可扩展性和效率。
• 提供一种统一方法，可通过学习数据特定特征以提升聚类性能，从而扩展至其他分类和聚类任务。

提出的方法

• 将子空间聚类表述为低秩变换学习问题，其中变换矩阵 T 被优化以最小化变换后子空间内数据矩阵的核范数。
• 使用核范数作为矩阵秩的凸近似，以实现高效优化并增强对噪声和异常值的鲁棒性。
• 设计目标函数，以鼓励同一子空间内数据呈现低秩结构，而不同子空间间数据呈现高秩结构。
• 将学习到的变换集成到一种新方法——鲁棒稀疏子空间聚类（R-SSC）中，结合鲁棒PCA与稀疏建模以提升聚类性能。
• 通过使用小批量梯度下降与热重启实现变换的在线学习，从而实现对大规模数据集的可扩展性。
• 通过将变换矩阵 T 的大小约束为 r×d（其中 r < d），同时学习变换并降低数据维度，实现类似压缩感知的降维。

实验结果

研究问题

• RQ1 学习到的线性变换是否能有效恢复偏离理想子空间的真实世界数据中的低秩结构？
• RQ2 学习一种增强子空间内低秩性与子空间间高秩性的变换，如何提升聚类准确率？
• RQ3 所提出的鲁棒子空间聚类（RSC）框架在多大程度上能提升如SSC等当前最先进子空间聚类方法的性能？
• RQ4 变换学习能否适应在线处理和降维，同时保持聚类性能？
• RQ5 为实现高聚类准确率并降低计算成本，变换矩阵 T 的最优大小是多少？

主要发现

• 在包含9个受试者的Extended YaleB数据集上，所提出的R-SSC方法将误分类误差从67.37%降低至4.94%，显著优于基线SSC方法。
• 在Extended YaleB数据集的两个受试者上，使用RSC增强的R-SSC框架后，误分类率从42.06%降至0%。
• 在CMU Mocap动作分割数据集上，所提方法的误分类率为3.902%，而SSC为21.8693%，LSA为17.8766%。
• 在线学习变体在131.76秒内收敛，达到与批量学习（700.27秒）相似的目标值，证明其在大规模数据上的效率。
• 通过变换矩阵大小 r 实现最优降维时，r 小于环境维度，当 r=96 时两个受试者的误分类率降至0%，r=40 时三个受试者也降至0%。
• 该框架支持变换与降维的联合学习，聚类准确率在降低 r 后达到峰值，表明其与压缩感知及传感设计存在强关联。