[论文解读] Low-rank Matrix Recovery from Errors and Erasures

Yudong Chen, Ali Jalali+2 more|arXiv (Cornell University)|Apr 3, 2011

Sparse and Compressive Sensing Techniques参考文献 12被引用 16

一句话总结

本文提出了一种凸优化框架，通过核范数和 $γ$-加权 $·_1$-范数最小化，联合恢复一个低秩矩阵和一个稀疏误差矩阵，从被污染且部分观测到的矩阵中恢复。该方法首次为在同时存在随机和确定性缺失与错误时的精确恢复提供了统一的性能保证，表明即使在恒定比例的条目被污染的情况下，仅需 $\Theta(n\textrm{polylog}(n))$ 个观测条目即可实现精确恢复。

ABSTRACT

This paper considers the recovery of a low-rank matrix from an observed version that simultaneously contains both (a) erasures: most entries are not observed, and (b) errors: values at a constant fraction of (unknown) locations are arbitrarily corrupted. We provide a new unified performance guarantee on when the natural convex relaxation of minimizing rank plus support succeeds in exact recovery. Our result allows for the simultaneous presence of random and deterministic components in both the error and erasure patterns. On the one hand, corollaries obtained by specializing this one single result in different ways recover (up to poly-log factors) all the existing works in matrix completion, and sparse and low-rank matrix recovery. On the other hand, our results also provide the first guarantees for (a) recovery when we observe a vanishing fraction of entries of a corrupted matrix, and (b) deterministic matrix completion.

研究动机与目标

• 解决在条目缺失（缺失）和恒定比例条目被任意污染（错误）的情况下恢复低秩矩阵的挑战，标准的SVD和矩阵补全方法无法处理此类问题。
• 为在混合随机与确定性缺失和错误模式下，通过最小化核范数（用于低秩结构）和 $\ell_1$-范数（用于误差的稀疏性）的凸松弛方法，提供统一的性能保证。
• 首次建立当观测条目比例随矩阵大小 $n$ 增大而趋于零时的理论保证，将适用性扩展至协同过滤等高维场景。
• 推导出低秩矩阵补全（即无错误，仅缺失）的首个确定性保证，并改进先前针对错误仅恢复的最坏情况界。

提出的方法

• 该方法使用一个凸优化程序，最小化 $\gamma\|A\|_1 + \|B\|_*$，约束条件为 $\mathcal{P}_\Phi(A + B) = \mathcal{P}_\Phi(C)$，其中 $\mathcal{P}_\Phi$ 投影到已观测条目上。
• 它利用核范数 $\|B\|_*$ 作为矩阵秩的凸替代，以及 $\ell_1$-范数 $\|A\|_1$ 作为误差矩阵稀疏性的凸替代。
• 分析通过低秩矩阵的切空间 $\mathcal{T}$ 和误差矩阵的支撑集 $\Gamma$ 构造对偶证书，以验证精确恢复。
• 对低秩矩阵和稀疏矩阵施加非一致性假设，以控制奇异向量对齐和误差位置。
• 证明依赖于对偶证书在切空间上的投影的算子范数和在误差支撑上的无穷范数的有界性，从而导出对 $\gamma$ 的条件。
• 关键技术创新在于统一分析了错误和缺失模式中的随机与确定性成分，使得单一定理能够恢复并扩展先前结果。

实验结果

研究问题

• RQ1 当观测条目比例随 $n$ 增大而趋于零时，凸松弛能否在同时存在缺失和错误的情况下精确恢复低秩矩阵？
• RQ2 在错误和缺失模式（随机 vs. 确定性）下，哪些条件能确保通过核范数和 $\ell_1$-范数最小化实现精确恢复？
• RQ3 所提出的方法能否为低秩矩阵补全（即仅缺失，无错误）提供首个确定性保证？
• RQ4 当错误比例恒定且观测概率下降时，该方法的性能如何随矩阵大小 $n$ 变化？
• RQ5 即使错误模式集中在某个块中，该方法是否仍能容忍恒定比例的对抗性（确定性）污染？

主要发现

• 所提出的凸程序在观测条目数量为 $\Theta(n\textrm{polylog}(n))$ 时，以高概率实现精确恢复，即使这些条目中恒定比例被污染。
• 该方法提供了首个统一的性能保证，恢复并改进了所有先前在矩阵补全、稀疏恢复和低秩恢复中的结果，仅在对数因子范围内。
• 对于观测概率趋于零的情况，当 $\gamma$ 满足 $\frac{1}{1-2\alpha}\sqrt{\frac{\mu r}{n_1n_2}} < \gamma < \frac{1-\alpha}{\eta d} - \sqrt{\frac{\mu r}{n_1n_2}}$ 时，方法可保证精确恢复，其中 $\alpha$ 控制确定性条目的比例。
• 即使几乎所有观测条目都被污染，只要误差符号对称且观测概率随 $n$ 缓慢下降，该方法仍能实现精确恢复。
• 对于确定性缺失和错误，该方法首次为低秩矩阵补全提供了确定性保证，并在量级上优于先前的最坏情况界。
• 模拟结果验证了理论相变：成功所需的观测概率 $p_0$ 随 $n$ 减小，可容忍的污染概率 $\tau$ 随 $n$ 增大，而最大确定性噪声块大小 $d$ 随 $n$ 线性增长。