[论文解读] Recovery of Coherent Data via Low-Rank Dictionary Pursuit

Guangcan Liu, Ping Li|arXiv (Cornell University)|Apr 15, 2014

Sparse and Compressive Sensing Techniques参考文献 25被引用 26

一句话总结

本文提出了一种低秩字典追踪框架，通过利用结构化低秩字典，克服了RPCA在恢复一致数据时的局限性。证明了当字典为低秩时，该方法可避免因高一致性导致的性能下降，即使在使RPCA性能下降的聚类结构下，也能实现低秩与稀疏分量的精确恢复。

ABSTRACT

The recently established RPCA method provides us a convenient way to restore low-rank matrices from grossly corrupted observations. While elegant in theory and powerful in reality, RPCA may be not an ultimate solution to the low-rank matrix recovery problem. Indeed, its performance may not be perfect even when data are strictly low-rank. This is because conventional RPCA ignores the clustering structures of the data which are ubiquitous in modern applications. As the number of cluster grows, the coherence of data keeps increasing, and accordingly, the recovery performance of RPCA degrades. We show that the challenges raised by coherent data (i.e., the data with high coherence) could be alleviated by Low-Rank Representation (LRR), provided that the dictionary in LRR is configured appropriately. More precisely, we mathematically prove that if the dictionary itself is low-rank then LRR is immune to the coherence parameter which increases with the underlying cluster number. This provides an elementary principle for dealing with coherent data. Subsequently, we devise a practical algorithm to obtain proper dictionaries in unsupervised environments. Our extensive experiments on randomly generated matrices verify our claims.

研究动机与目标

• 解决当数据因聚类结构导致高一致性时RPCA性能下降的问题。
• 开发一种鲁棒的低秩矩阵恢复方法，超越简单低秩性，保留结构信息。
• 从数学上证明，在低秩表示（LRR）中，低秩字典可消除由一致性引起的恢复失败。
• 在无监督设置下，设计一种实用的字典学习算法，确保在一致数据中实现精确恢复。

提出的方法

• 提出一种低秩字典追踪公式，其中字典本身被约束为低秩，从而降低对数据一致性的敏感度。
• 采用凸优化框架：min ‖J‖* + λ‖S‖₁，约束条件为 X = AZ + S 且 Z = J，通过增广拉格朗日最小化求解。
• 使用精确ALM（交替线性法）求解优化问题，迭代更新变量 J、Z、S 以及对偶变量 Y、W。
• 引入一种结构化字典学习过程，使其能适应数据中潜在的低秩与稀疏结构。
• 理论分析表明，当字典为低秩时，该方法不再依赖于一致性参数，从而实现精确恢复。
• 使用核范数最小化和 ℓ₁-范数正则化，分别促进低秩与稀疏解。

实验结果

研究问题

• RQ1 低秩表示（LRR）能否克服RPCA在低秩矩阵恢复中因一致性导致的性能下降？
• RQ2 在LRR中，低秩字典在何种条件下可确保低秩与稀疏分量的精确恢复？
• RQ3 数据中的聚类结构如何影响一致性参数，从而影响RPCA的恢复性能？
• RQ4 能否设计一种实用的字典学习算法，以在无监督的一致数据环境中保持精确恢复？

主要发现

• 当字典为低秩时，无论数据一致性多高，该方法均可实现低秩与稀疏分量的精确恢复。
• 理论分析证明，第二致性参数 μ₂(L₀) 随聚类数 k 增加而增大，从而降低RPCA性能。
• 在合成数据与真实运动序列上的实验结果表明，该方法在高一致性条件下优于RPCA。
• 该算法在无监督设置下成功学习到低秩字典，实现了无需先验数据结构知识的鲁棒恢复。
• 恢复误差被限制在 8√(mn)ε 以内，表明在噪声与污染条件下具有稳定性。
• 在具有强聚类结构的场景中，该方法优于RPCA，而RPCA因高一致性而失效。