[论文解读] Adaptive Low-Rank Kernel Subspace Clustering

Pan Ji, Ian Reid+3 more|arXiv (Cornell University)|Jul 17, 2017

Face and Expression Recognition参考文献 43被引用 25

一句话总结

本文提出自适应低秩核子空间聚类（ALRKSC），一种新颖的核子空间聚类方法，通过统一优化框架联合学习自适应低秩核映射与自表达相似性矩阵。与使用固定核的先前方法不同，ALRKSC确保特征空间中隐式映射的数据同时具备低秩性和自表达性，从而更好地恢复非线性子空间结构。该方法在运动分割和图像聚类基准测试中达到最先进性能，显著优于线性子空间聚类方法及使用预定义核的核方法。

ABSTRACT

In this paper, we present a kernel subspace clustering method that can handle non-linear models. In contrast to recent kernel subspace clustering methods which use predefined kernels, we propose to learn a low-rank kernel matrix, with which mapped data in feature space are not only low-rank but also self-expressive. In this manner, the low-dimensional subspace structures of the (implicitly) mapped data are retained and manifested in the high-dimensional feature space. We evaluate the proposed method extensively on both motion segmentation and image clustering benchmarks, and obtain superior results, outperforming the kernel subspace clustering method that uses standard kernels[Patel 2014] and other state-of-the-art linear subspace clustering methods.

研究动机与目标

• 为解决现有核子空间聚类方法使用预定义核所导致的缺陷，这些方法无法保证特征空间中存在低秩结构。
• 开发一种联合优化低秩核映射与自表达相似性矩阵的方法，以保留并利用非线性数据中的子空间结构。
• 提升在具有非线性流形的真实世界数据集上的聚类准确率，例如存在透视失真的运动轨迹和具有表情变化的面部图像。
• 提供一种可推广的框架，适用于基于自表达的子空间聚类方法，重点针对SSC和LRR。
• 证明自适应核学习相比固定核与线性子空间聚类方法可实现更优性能。

提出的方法

• 该方法将联合优化问题形式化，以学习一个低秩核矩阵K，使得特征空间中的映射数据同时具备低秩性和自表达性。
• 以核矩阵K_G作为基础，通过约束优化问题联合优化低秩核映射K与自表达系数矩阵C。
• 使用交替方向乘子法（ADMM）求解优化问题，每个子问题均有闭式解，从而实现高效计算。
• 通过约束X = X C强制实现自表达性，且将C的对角元素设为零以避免平凡解。
• 对C和K引入核范数正则化，以促进低秩结构并增强相似性矩阵的稀疏性。
• 核函数K_G为人工选择（如多项式或RBF），方法以无监督方式自适应调整核映射，以匹配数据的内在结构。

实验结果

研究问题

• RQ1 与固定核方法相比，自适应低秩核映射是否能提升非线性数据上的子空间聚类性能？
• RQ2 联合优化核映射与自表达相似性矩阵是否能更有效地恢复特征空间中的低维子空间结构？
• RQ3 所提方法是否能在具有轻微非线性的数据集上超越最先进线性子空间聚类方法？
• RQ4 在每个子空间样本较少的数据集（如ORL）上，该方法表现如何，其中线性与固定核方法表现不佳？
• RQ5 在具有中等非线性的数据集（如COIL-100）上，该方法是否能保持优越性能，其中固定核方法已优于线性方法？

主要发现

• 在Hopkins155运动分割数据集上，ALRKSC达到98.04%的聚类准确率，显著优于SSC（64.38%）与KSSC。
• 在Extended Yale B数据集上，ALRKSC将聚类误差降低超过一半，优于所有线性与核基线方法。
• 在ORL数据集上，ALRKSC持续优于SSC与KSSC，尤其在“极少数样本”场景（如每人10张图像）下表现更优，显示出对低样本数的鲁棒性。
• 在COIL-100数据集上，ALRKSC在所有基线方法中取得最低聚类误差，证实其在具有角度变化与中等非线性的物体图像上的有效性。
• ALRKSC是首个在Hopkins155数据集上超越其线性对应方法的核子空间聚类方法，而该数据集中的大多数数据均符合线性子空间模型。
• 该方法在多样化基准测试中表现出一致优越性，验证了自适应低秩核学习在保留与利用非线性子空间结构方面的有效性。