[论文解读] Learning Transformations for Clustering and Classification

Qiang Qiu, Guillermo Sapiro|arXiv (Cornell University)|Sep 9, 2013

Face and Expression Recognition参考文献 33被引用 16

一句话总结

本文提出了一种低秩变换学习框架，通过利用核范数最小化来学习线性变换以恢复子空间内的低秩结构，并最大化子空间间的分离度，从而提升子空间聚类与分类性能。该方法通过减少子空间内差异性和增强子空间间可分性，在真实世界数据集上显著提高了聚类与分类的准确性。

ABSTRACT

A low-rank transformation learning framework for subspace clustering and classification is here proposed. Many high-dimensional data, such as face images and motion sequences, approximately lie in a union of low-dimensional subspaces. The corresponding subspace clustering problem has been extensively studied in the literature to partition such high-dimensional data into clusters corresponding to their underlying low-dimensional subspaces. However, low-dimensional intrinsic structures are often violated for real-world observations, as they can be corrupted by errors or deviate from ideal models. We propose to address this by learning a linear transformation on subspaces using matrix rank, via its convex surrogate nuclear norm, as the optimization criteria. The learned linear transformation restores a low-rank structure for data from the same subspace, and, at the same time, forces a a maximally separated structure for data from different subspaces. In this way, we reduce variations within subspaces, and increase separation between subspaces for a more robust subspace clustering. This proposed learned robust subspace clustering framework significantly enhances the performance of existing subspace clustering methods. Basic theoretical results here presented help to further support the underlying framework. To exploit the low-rank structures of the transformed subspaces, we further introduce a fast subspace clustering technique, which efficiently combines robust PCA with sparse modeling. When class labels are present at the training stage, we show this low-rank transformation framework also significantly enhances classification performance. Extensive experiments using public datasets are presented, showing that the proposed approach significantly outperforms state-of-the-art methods for subspace clustering and classification.

研究动机与目标

• 解决真实世界高维数据（如人脸图像和运动序列）中低维内在结构退化的问题。
• 提升子空间聚类方法在数据损坏、姿态变化及非朗伯效应下的鲁棒性。
• 开发一种基于核范数优化的变换学习框架，以同时提升聚类与分类性能。
• 提出一种快速、可扩展的子空间聚类技术，结合鲁棒PCA与稀疏建模。
• 证明所学习变换在其他分类框架中的泛化能力。

提出的方法

• 提出子空间低秩变换（LRT）框架，学习线性变换矩阵 T 以最小化变换后数据矩阵的核范数。
• 采用 D.C.（凸函数之差）优化方法，通过求解一系列凸子问题来迭代求解非凸问题。
• 采用带系数归一化的次梯度方法，以保持范数约束 ||T||₂ = γ 并避免平凡解。
• 通过在变换后的数据上结合鲁棒PCA与稀疏建模，提出一种快速子空间聚类技术。
• 将所学习的变换应用于聚类与分类任务，在训练过程中利用类别标签以增强判别能力。
• 使用奇异值分解（SVD）与次微分计算，以在优化过程中计算核范数的梯度。

实验结果

研究问题

• RQ1 在真实世界噪声条件下，学习线性变换是否能改善同一子空间内数据的低秩结构？
• RQ2 通过最大化子空间间的核范数分离度，是否能提升聚类与分类性能？
• RQ3 所提出的变换能否被高效学习并应用于现有子空间聚类方法？
• RQ4 在公共数据集上，所学习的变换与最先进方法相比，在准确率与鲁棒性方面表现如何？
• RQ5 所学习的变换在多大程度上可迁移至其他分类框架？

主要发现

• 所提出的所学习鲁棒子空间聚类（LRSC）框架在公共数据集（包括 Extended Yale B 和 CMU PIE 人脸数据集）上显著优于最先进子空间聚类方法。
• 所学习的变换减少了子空间内差异性并增强了子空间间分离度，如图 1 所示，同一被试在不同姿态下的变换后人脸图像在视觉上更加相似。
• 当训练过程中提供类别标签时，该方法实现了更高的分类准确率，证明其在判别性学习中的有效性。
• 即使每次迭代仅使用一步次梯度，也观察到经验收敛，验证了 D.C. 过程简化的合理性。
• 范数约束 ||T||₂ = γ 对避免平凡解至关重要，且系数归一化确保了优化的稳定性。
• 通过 SVD 与随机矩阵生成，核范数的次微分可高效计算，从而实现可扩展的优化。