[论文解读] Kernelized Low Rank Representation on Grassmann Manifolds

Boyue Wang, Yongli Hu+3 more|arXiv (Cornell University)|Apr 8, 2015

Sparse and Compressive Sensing Techniques参考文献 64被引用 6

一句话总结

该论文提出了一种在格拉斯曼流形上进行核化低秩表示（KGLRR）的模型，通过利用数据流形的内在几何结构，以提升子空间聚类性能。通过将格拉斯曼流形数据嵌入对称矩阵空间并应用核方法，该方法在噪声和异常值存在的情况下，尤其在人脸和交通视频数据上，实现了更优的聚类准确率，优于当前最先进的方法。

ABSTRACT

Low rank representation (LRR) has recently attracted great interest due to its pleasing efficacy in exploring low-dimensional subspace structures embedded in data. One of its successful applications is subspace clustering which means data are clustered according to the subspaces they belong to. In this paper, at a higher level, we intend to cluster subspaces into classes of subspaces. This is naturally described as a clustering problem on Grassmann manifold. The novelty of this paper is to generalize LRR on Euclidean space onto an LRR model on Grassmann manifold in a uniform kernelized framework. The new methods have many applications in computer vision tasks. Several clustering experiments are conducted on handwritten digit images, dynamic textures, human face clips and traffic scene sequences. The experimental results show that the proposed methods outperform a number of state-of-the-art subspace clustering methods.

研究动机与目标

• 为解决传统低秩表示（LRR）在欧几里得空间中的局限性，其假设数据结构为线性，无法捕捉高维数据中非线性流形的几何特性。
• 通过利用格拉斯曼流形的内在几何特性，将LRR推广至格拉斯曼流形，从而实现对自然位于非线性流形上的数据更精确的聚类。
• 提出一种核化框架，通过鲁棒优化模型（GLRR-F 和 GLRR-21）扩展LRR以处理非高斯噪声和异常值。
• 在真实计算机视觉任务（如人脸聚类、动态纹理分析和交通场景分类）中验证所提方法的有效性。

提出的方法

• 通过非线性映射将格拉斯曼流形数据嵌入对称矩阵空间，实现在保持流形几何结构的同时，支持基于欧几里得的优化。
• 在格拉斯曼流形上提出广义低秩表示（GLRR）模型，通过最小化带施加- p 范数惩罚的秩约束优化问题。
• 引入两种鲁棒变体：GLRR-F 用于处理高斯噪声（使用核范数），GLRR-21 用于处理非高斯噪声及异常值（使用表示误差的 ℓ1-范数）。
• 通过奇异值阈值法推导出GLRR-F的闭式解，实现高效计算。
• 将两种专门设计的核函数集成到核化GLRR框架中，以捕捉数据中的非线性关系。
• 在学习到的亲和矩阵上应用谱聚类（如归一化割）以获得最终聚类结果。

实验结果

研究问题

• RQ1 能否将低秩表示有效推广至格拉斯曼流形，以提升子空间聚类性能？
• RQ2 在高维数据中，结合格拉斯曼流形的内在几何特性，如何增强LRR对噪声和异常值的鲁棒性？
• RQ3 当应用于人脸图像和视频序列等非线性流形数据时，核化对LRR性能有何影响？
• RQ4 所提出的鲁棒变体（GLRR-F 和 GLRR-21）在处理不同噪声模型时，与标准LRR和SSC相比表现如何？
• RQ5 在真实世界视觉数据集上，核化GLRR框架在多大程度上优于当前最先进的子空间聚类方法？

主要发现

• 在UCSD交通数据集上，所提出的KGLRR-cc+proj方法在48×48帧尺寸下达到89.72%的准确率，显著优于SSC（66.43%）和LRR（68.38%）。
• 在YTC人脸数据集上，KGLRR-cc+proj在4类时达到90.85%准确率，在7类时达到81.74%，优于SCGSM（4类时为52.82%）和GLRR-21（4类时为69.72%）。
• 核化GLRR模型在类数增加和噪声条件下表现出更优的稳定性和鲁棒性。
• GLRR-F实现了闭式解，支持高效优化；而GLRR-21能有效处理具有非高斯噪声的异常值。
• 结合格拉斯曼核函数的核化框架实现了更优的非线性亲和力学习，从而在所有数据集上均获得一致更高的聚类准确率。
• 尽管内存消耗较高，GLRR-21在测试中表现出较强性能，但受计算资源限制，其结果略低于最优水平。