[论文解读] Tight oracle bounds for low-rank matrix recovery from a minimal number of random measurements

Emmanuel J. Candès, Yaniv Plan|arXiv (Cornell University)|Jan 2, 2010

Sparse and Compressive Sensing Techniques参考文献 25被引用 141

一句话总结

本文通过从接近最小数量的随机线性测量中使用核范数最小化，建立了低秩矩阵恢复的紧致oracle界。它证明了即使在存在噪声的情况下，恢复误差也处于极小化风险和理想化oracle误差的常数倍以内，并将结果扩展至奇异值衰减的满秩矩阵。

ABSTRACT

This paper presents several novel theoretical results regarding the recovery of a low-rank matrix from just a few measurements consisting of linear combinations of the matrix entries. We show that properly constrained nuclear-norm minimization stably recovers a low-rank matrix from a constant number of noisy measurements per degree of freedom; this seems to be the first result of this nature. Further, the recovery error from noisy data is within a constant of three targets: 1) the minimax risk, 2) an oracle error that would be available if the column space of the matrix were known, and 3) a more adaptive oracle error which would be available with the knowledge of the column space corresponding to the part of the matrix that stands above the noise. Lastly, the error bounds regarding low-rank matrices are extended to provide an error bound when the matrix has full rank with decaying singular values. The analysis in this paper is based on the restricted isometry property (RIP) introduced in [6] for vectors, and in [22] for matrices.

研究动机与目标

• 建立从最少数量的随机线性测量中对低秩矩阵实现稳定恢复的理论保证。
• 证明核范数最小化实现的误差界处于极小化风险和oracle误差的常数倍以内，而非先前工作中存在的对数因子。
• 将分析扩展至奇异值衰减的满秩矩阵，捕捉到良好近似为低秩结构的情形。
• 证明所需测量数处于信息论下界的一个常数倍以内，且无额外的对数因子。

提出的方法

• 使用矩阵的限制等距性（RIP），将向量情形的RIP推广至低秩矩阵恢复。
• 应用核范数最小化作为凸松弛方法，从线性测量中恢复低秩矩阵。
• 采用基于RIP的分析，推导出相对于极小化风险和oracle误差的紧致误差界。
• 推导出测量算子在低秩子空间上限制的特征值界，确保稳定性。
• 使用缩放变换和SVD分解，将问题简化为在噪声下估计系数向量。
• 应用引理3.11和引理3.12，对极小化风险进行下界估计，并将其与测量算子的谱性质关联。

实验结果

研究问题

• RQ1 能否从接近信息论最小值的测量数中稳定实现低秩矩阵恢复？
• RQ2 通过核范数最小化实现的恢复误差是否处于极小化风险和oracle误差的常数倍以内，而非对数因子？
• RQ3 误差界能否扩展至奇异值衰减的满秩矩阵？
• RQ4 所需测量数是否与自由度呈线性关系，而无对数惩罚？

主要发现

• 核范数最小化可从每个自由度的常数个噪声测量中稳定恢复低秩矩阵。
• 恢复误差处于极小化风险的常数倍以内，这是在未掌握列空间先验知识情况下的最佳可能误差。
• 误差也处于一个‘oracle’误差的常数倍以内，该误差假设已知矩阵的真实列空间。
• 所需测量数处于理论下界 $(n_1 + n_2 - r)r$ 的常数倍以内，无对数开销。
• 结果可扩展至由低秩矩阵良好近似的满秩矩阵，误差界取决于奇异值的衰减速率。
• 分析证实，随机线性测量（而不仅仅是逐元素采样）可实现接近最优的恢复效果，且样本复杂度极低。