[论文解读] Kernelized LRR on Grassmann Manifolds for Subspace Clustering

Boyue Wang, Yongli Hu+3 more|arXiv (Cornell University)|Jan 9, 2016

Sparse and Compressive Sensing Techniques参考文献 53被引用 5

一句话总结

本文提出在格拉斯曼流形上进行核化低秩表示（LRR）以实现子空间聚类，将子空间建模为格拉斯曼流形上的点，并利用核化LRR捕捉非线性结构。该方法优于最先进方法，在复杂交通数据集上达到82.21%的准确率，通过闭式解和ADMM优化展现出对噪声和非高斯异常值的鲁棒性。

ABSTRACT

Low rank representation (LRR) has recently attracted great interest due to its pleasing efficacy in exploring low-dimensional sub- space structures embedded in data. One of its successful applications is subspace clustering, by which data are clustered according to the subspaces they belong to. In this paper, at a higher level, we intend to cluster subspaces into classes of subspaces. This is naturally described as a clustering problem on Grassmann manifold. The novelty of this paper is to generalize LRR on Euclidean space onto an LRR model on Grassmann manifold in a uniform kernelized LRR framework. The new method has many applications in data analysis in computer vision tasks. The proposed models have been evaluated on a number of practical data analysis applications. The experimental results show that the proposed models outperform a number of state-of-the-art subspace clustering methods.

研究动机与目标

• 为解决基于欧几里得空间的LRR在建模非线性、高维数据方面的局限性，将LRR推广至格拉斯曼流形。
• 通过流形嵌入引入子空间的内在几何特性，以提升聚类性能。
• 开发一种核化LRR框架，以捕捉数据中的非线性关系，同时保持低秩结构。
• 在真实世界计算机视觉任务（包括交通监控和图像集聚类）上评估该方法。
• 通过在具有挑战性的数据集上进行对比实验，证明方法对噪声和异常值的鲁棒性。

提出的方法

• 将图像集表示为格拉斯曼流形G(p, n)上的点，其中p为子空间维数，n为特征维数。
• 通过嵌入函数将格拉斯曼流形上的点映射为对称正定矩阵，以支持欧几里得计算。
• 在嵌入的对称矩阵空间上，利用核范数最小化构建低秩表示模型。
• 提出GLRR-F用于处理高斯噪声，采用闭式解；提出GLRR-21用于处理非高斯异常值，采用ADMM优化。
• 通过核函数将LRR模型推广为核化版本（KGLRR-ccp），以处理非线性数据结构。
• 将学习到的系数矩阵用于NCut谱聚类算法，获得最终聚类结果。

实验结果

研究问题

• RQ1 LRR能否有效从欧几里得空间推广到格拉斯曼流形，从而提升子空间聚类性能？
• RQ2 将子空间建模为格拉斯曼流形上的点，如何提升在高维、非线性数据上的聚类性能？
• RQ3 核化对基于LRR的聚类在非高斯噪声和复杂数据分布下的鲁棒性和准确率有何影响？
• RQ4 所提出的GLRR-F和GLRR-21模型与现有LRR和SSC方法相比，在聚类准确率和鲁棒性方面表现如何？
• RQ5 格拉斯曼流形框架在真实世界基于视频的交通聚类任务中，相较于基于欧几里得的方法，优势有多大？

主要发现

• 所提出的KGLRR-ccp方法在复杂Road Traffic数据集上达到82.21%的聚类准确率，优于所有基线方法。
• 在Highway Traffic数据集上，KGLRR-ccp达到82.21%的准确率，至少比次优方法高出15个百分点。
• GLRR-F在Highway Traffic数据集上达到80.63%的准确率，显著优于LRR（68.38%）和SSC（62.85%）。
• 基于格拉斯曼流形的方法（GLRR-F, KGLRR-ccp）在受环境变化（如天气和光照变化）影响的数据集上表现出更优的鲁棒性。
• 即使在欧几里得方法（SSC, LRR）表现良好的情况下，基于格拉斯曼流形的模型仍保持一致的优越性，尤其在复杂条件下表现更佳。
• GLRR-F的闭式解提供了高效的计算性能，而基于ADMM的GLRR-21能有效处理非高斯异常值。