[论文解读] Exact Subspace Segmentation and Outlier Detection by Low-Rank Representation

Guangcan Liu, Huan Xu+1 more|arXiv (Cornell University)|Sep 8, 2011

Sparse and Compressive Sensing Techniques参考文献 28被引用 46

一句话总结

该论文提出低秩表示（LRR）方法，用于从多个子空间中抽取的数据中实现精确的子空间分割与异常检测，且这些子空间的秩和数量未知。通过求解一个凸优化问题，该问题最小化表示矩阵的核范数以及噪声的混合$$\ell_{2,1}$$范数，LRR能够精确恢复真实数据的行空间并识别异常值，从而在温和条件下实现同时、可证明精确的分割与检测。

ABSTRACT

In this work, we address the following matrix recovery problem: suppose we are given a set of data points containing two parts, one part consists of samples drawn from a union of multiple subspaces and the other part consists of outliers. We do not know which data points are outliers, or how many outliers there are. The rank and number of the subspaces are unknown either. Can we detect the outliers and segment the samples into their right subspaces, efficiently and exactly? We utilize a so-called {\em Low-Rank Representation} (LRR) method to solve this problem, and prove that under mild technical conditions, any solution to LRR exactly recovers the row space of the samples and detect the outliers as well. Since the subspace membership is provably determined by the row space, this further implies that LRR can perform exact subspace segmentation and outlier detection, in an efficient way.

研究动机与目标

• 解决当子空间数量、其秩以及异常值身份未知时的子空间分割与异常检测挑战。
• 开发一种能够高效且精确地同时将数据分割到其正确子空间并检测异常值的方法。
• 证明低秩表示（LRR）公式能够精确恢复真实数据的行空间，并识别噪声的列支撑。
• 在温和的技术条件下建立LRR的理论保证，使其与以往的RPCA方法相区别。

提出的方法

• 将问题表述为矩阵分解$\displaystyle X = X_0 + C_0$，其中$X_0$为低秩矩阵，$C_0$为列稀疏矩阵。
• 提出求解凸优化问题$\displaystyle \min_{Z,C} \|Z\|_* + \lambda\|C\|_{2,1}$，约束条件为$X = XZ + C$，该方法称为低秩表示（LRR）。
• 使用核范数$\|\cdot\|_*$以在表示矩阵$Z$中促进低秩结构，使用$\ell_{2,1}$范数$\|\cdot\|_{2,1}$以在$C$中诱导列级稀疏性，从而建模异常值。
• 证明最优解$Z^*$能够恢复$X_0$的行空间，而该行空间唯一确定了正确的子空间分割。
• 表明$C^*$的列支撑可识别出异常值，从而实现联合分割与检测。
• 利用投影算子分析问题，并基于子空间独立性与非一致性建立恢复条件。

实验结果

研究问题

• RQ1 当子空间数量和其秩未知时，LRR能否精确恢复从多个子空间联合抽取的数据的行空间？
• RQ2 在未预先知晓异常值数量或位置的情况下，LRR公式在何种条件下能精确识别数据中的异常值？
• RQ3 LRR恢复行空间的能力如何确保精确的子空间分割？这与基于列空间的方法（如PCA或RPCA）有何不同？
• RQ4 为何LRR在处理行级噪声和多子空间结构方面在理论上优于现有RPCA方法？
• RQ5 LRR框架能否扩展至一般字典矩阵，而不仅限于数据矩阵$X$或单位矩阵$I$？

主要发现

• 在温和条件下，LRR实现了精确的子空间分割与异常检测，并具备行空间与列支撑恢复的理论保证。
• 在Yale-Caltech数据集上，LRR的分割准确率（ACC）达到86.13%，优于PCA（77.15%）、RPCA 1（82.97%）和RPCA 2,1（83.72%）。
• 在异常检测方面，LRR的AUC达到0.9927，显著高于RPCA 2,1（0.9863）和RPCA 1（0.9819），表明其检测性能更优。
• 数据$X_0$的行空间唯一决定了正确的分割结果，而LRR可理论证明恢复该空间，使其成为一种理论可靠的分割方法。
• LRR优于PCA与RPCA，因其聚焦于行空间恢复，而行空间与子空间分割直接相关；而PCA与RPCA则聚焦于列空间，对多子空间数据不具优势。
• 该方法对未知的子空间秩与数量具有鲁棒性，并能有效处理具有稀疏噪声的数据，已在真实世界图像数据集上得到验证。