[论文解读] Kernel Sparse Subspace Clustering on Symmetric Positive Definite Manifolds

Ming Yin, Yi Guo+3 more|arXiv (Cornell University)|Jan 4, 2016

Face and Expression Recognition参考文献 21被引用 3

一句话总结

本文提出了一种基于黎曼流形的核稀疏子空间聚类方法（KSSCR），通过使用对数-欧几里得高斯核将对称正定（SPD）矩阵映射到再生核希尔伯特空间（RKHS），从而在保持SPD流形固有黎曼几何结构的前提下，实现核空间中的稀疏表示与自表达建模，进而在Brodatz和FERET数据集上实现了最先进的聚类准确率。

ABSTRACT

Sparse subspace clustering (SSC), as one of the most successful subspace clustering methods, has achieved notable clustering accuracy in computer vision tasks. However, SSC applies only to vector data in Euclidean space. As such, there is still no satisfactory approach to solve subspace clustering by ${\it self-expressive}$ principle for symmetric positive definite (SPD) matrices which is very useful in computer vision. In this paper, by embedding the SPD matrices into a Reproducing Kernel Hilbert Space (RKHS), a kernel subspace clustering method is constructed on the SPD manifold through an appropriate Log-Euclidean kernel, termed as kernel sparse subspace clustering on the SPD Riemannian manifold (KSSCR). By exploiting the intrinsic Riemannian geometry within data, KSSCR can effectively characterize the geodesic distance between SPD matrices to uncover the underlying subspace structure. Experimental results on two famous database demonstrate that the proposed method achieves better clustering results than the state-of-the-art approaches.

研究动机与目标

• 为解决传统稀疏子空间聚类（SSC）方法仅限于欧几里得空间中的向量数据、难以有效处理对称正定（SPD）矩阵的局限性。
• 克服将线性自表达模型应用于非欧几里得SPD流形时的挑战，因为标准欧几里得距离和线性运算会导致不准确的表示。
• 开发一种基于核的方法，将SPD矩阵嵌入到高维再生核希尔伯特空间（RKHS）中，同时保持其内在的黎曼几何结构，以提升聚类性能。
• 证明通过核映射引入黎曼流形结构可显著提升SPD数据聚类性能，优于现有最先进方法。

提出的方法

• 该方法采用对数-欧几里得高斯核将SPD矩阵映射到再生核希尔伯特空间（RKHS），从而在非线性特征空间中应用标准稀疏子空间聚类（SSC）。
• 核函数基于SPD流形的黎曼度量构建，特别采用对数-欧几里得距离，以在嵌入过程中保持几何保真度。
• 在RKHS中应用自表达建模，其中每个SPD矩阵被表示为其他矩阵的稀疏线性组合，利用核技巧避免在高维空间中的显式计算。
• 优化问题被表述为最小化稀疏表示目标，同时引入核范数或ℓ1-正则化项，以确保在核诱导特征空间中获得低秩且稀疏的解。
• 该方法利用SPD矩阵在正线性组合下构成黎曼流形的性质，使得在核空间中能够实现稳定且有意义的几何运算。
• 通过标准聚类指标（如准确率和标准化互信息NMI）对算法进行训练与评估，并在基准数据集上通过交叉验证调整超参数。

实验结果

研究问题

• RQ1 基于核的稀疏子空间聚类扩展是否能通过保持其内在黎曼几何结构，有效处理对称正定（SPD）矩阵？
• RQ2 在SPD数据上，所提出的KSSCR方法与现有子空间聚类方法（如SSC、LRR和LRSC）相比，在聚类准确率和鲁棒性方面表现如何？
• RQ3 将对数-欧几里得核引入后，对子空间聚类中SPD矩阵之间测地线距离的表征能力提升了多少？
• RQ4 在真实世界SPD数据上，对数-欧几里得高斯核（如γ）的最优参数设置是什么，以实现最佳聚类性能？
• RQ5 与未显式建模黎曼几何结构的先前核化SSC方法相比，所提出方法是否在复杂、非线性流形数据上表现更优？

主要发现

• 在Brodatz纹理数据库上，KSSCR在2个聚类时达到100%的聚类准确率，在8个聚类时达到97.85%的准确率，显著优于所有基线方法，包括KSSCE和LRR。
• 在FERET人脸数据库上，KSSCR在七个子集上的平均聚类准确率为80.42%，优于SSC（49.33%）、LRSC（78.56%）和LRR（47.54%）在相同设置下的表现。
• 在标准化互信息（NMI）方面，KSSCR在FERET上的平均NMI达到88.46%，优于KSSCE（83.01%）和LRSC（88.43%），表明其在结构保持方面表现更优。
• 对数-欧几里得高斯核中的参数γ对性能有显著影响，在FERET数据集上最优值为γ = 2×10⁻³，表明核参数调优具有高度敏感性与关键性。
• 在Brodatz和FERET数据集的所有测试配置中，KSSCR始终取得最高准确率和NMI，证实其对最先进方法的鲁棒性与优越性。
• 结果表明，通过核映射显式建模SPD流形的黎曼几何结构，可实现比忽略或近似该结构的方法更准确、更有意义的子空间聚类。