[论文解读] Matrix Completion With Noise

Emmanuel J. Candès, Yaniv Plan|ArXiv.org|Mar 18, 2009

Sparse and Compressive Sensing Techniques参考文献 21被引用 58

一句话总结

本文在噪声条件下建立了矩阵补全的理论保证，表明核范数最小化能够从近乎最少数量的噪声条目中准确恢复低秩矩阵。研究证明，当采样条目数约为 $ nr ext{log}^2 n $ 时，恢复误差与噪声水平成正比，即使条目受到小噪声污染，该结果依然成立。

ABSTRACT

On the heels of compressed sensing, a remarkable new field has very recently emerged. This field addresses a broad range of problems of significant practical interest, namely, the recovery of a data matrix from what appears to be incomplete, and perhaps even corrupted, information. In its simplest form, the problem is to recover a matrix from a small sample of its entries, and comes up in many areas of science and engineering including collaborative filtering, machine learning, control, remote sensing, and computer vision to name a few. This paper surveys the novel literature on matrix completion, which shows that under some suitable conditions, one can recover an unknown low-rank matrix from a nearly minimal set of entries by solving a simple convex optimization problem, namely, nuclear-norm minimization subject to data constraints. Further, this paper introduces novel results showing that matrix completion is provably accurate even when the few observed entries are corrupted with a small amount of noise. A typical result is that one can recover an unknown n x n matrix of low rank r from just about nr log^2 n noisy samples with an error which is proportional to the noise level. We present numerical results which complement our quantitative analysis and show that, in practice, nuclear norm minimization accurately fills in the many missing entries of large low-rank matrices from just a few noisy samples. Some analogies between matrix completion and compressed sensing are discussed throughout.

研究动机与目标

• 建立低秩矩阵可从少量噪声条目中准确恢复的理论条件。
• 将矩阵补全理论从无噪声情形扩展至包含观测数据被污染的现实场景。
• 量化采样率、噪声水平与低秩矩阵重构精度之间的权衡关系。
• 为协同过滤和系统辨识等实际应用提供理论基础，这些应用中数据不完整且存在噪声。
• 与压缩感知理论建立类比，并将压缩感知的原理扩展至带噪声的矩阵补全场景。

提出的方法

• 提出核范数最小化作为从不完整且带噪声的数据中恢复低秩矩阵的主要优化框架。
• 通过核范数的凸松弛近似秩最小化问题，后者为 NP-难问题。
• 运用随机矩阵理论和优化对偶性工具，推导在条目随机采样条件下的误差界。
• 引入一种考虑噪声的恢复模型，假设观测条目受到方差为 $\sigma^2$ 的次高斯噪声污染。
• 推导了以噪声水平和低秩矩阵自由度为参数的“Oracle 不等式”，用于界定恢复误差。
• 采用拉格朗日对偶方法分析恢复性能，并建立高概率误差界。

实验结果

研究问题

• RQ1 能否通过凸优化方法，从近乎最少数量的噪声条目中准确恢复低秩矩阵？
• RQ2 在矩阵补全中，采样条目数、噪声水平与重构误差之间的根本权衡关系是什么？
• RQ3 核范数最小化方法的性能与已知真实低秩子空间的最优“Oracle”方法相比如何？
• RQ4 压缩感知理论在何种程度上可推广至带噪声条件下的矩阵补全？
• RQ5 当条目受噪声污染时，确保低秩矩阵稳定恢复所需的最小采样率是多少？

主要发现

• 带噪声的矩阵补全具有可证明的准确性：一个 $ n \times n $ 的秩为 $ r $ 的矩阵，可从约 $ nr\text{log}^2 n $ 个噪声条目中恢复，且恢复误差与噪声水平成正比。
• 以高概率，恢复误差被限制在 $ C \sigma \sqrt{\text{df}/m} $ 以内，其中 $ \text{df} = r(2n - r) $，$ m $ 为观测条目数，$ \sigma $ 为噪声标准差。
• 数值实验表明，实际恢复误差可被 $ 1.68 \times \sqrt{\text{df}/m} $ 良好近似，且不会超过 $ 2.25 \times \sqrt{\text{df}/m} $。
• 在 $ 366 \times 1472 $ 温度矩阵的真实世界测试中，30% 采样率下算法实现了 16.6% 的相对 Frobenius 误差，优于基于真实秩-2 子空间的最优逼近方法。
• 理论误差界通过数值结果得到验证，结果与预测性能高度吻合，尤其在样本数和矩阵规模增大时更为显著。
• 所提方法的性能接近已知真实秩-2 子空间的 Oracle 误差，实际中仅需约 1.68 倍的乘法因子。