[论文解读] Matrix Completion from Noisy Entries

Raghunandan H. Keshavan, Andrea Montanari+1 more|arXiv (Cornell University)|Jun 11, 2009

Sparse and Compressive Sensing Techniques参考文献 25被引用 206

一句话总结

本文分析了 OptSpace 算法，这是一种结合谱方法与流形优化的低复杂度矩阵补全算法，用于从噪声且随机采样的条目中重建低秩矩阵。在概率噪声模型和最坏情况噪声模型下，均建立了阶次最优的性能保证，表明当观测条目数量为 $ O(n r \text{polylog}(n)) $ 时，重构误差以高概率满足 $ O(\rho \rho_{\text{min}}^{-2} \rho_{\text{max}}^2 \mu \text{polylog}(n)) $，在关键情形下与信息论极限一致。

ABSTRACT

Given a matrix M of low-rank, we consider the problem of reconstructing it from noisy observations of a small, random subset of its entries. The problem arises in a variety of applications, from collaborative filtering (the `Netflix problem') to structure-from-motion and positioning. We study a low complexity algorithm introduced by Keshavan et al.(2009), based on a combination of spectral techniques and manifold optimization, that we call here OptSpace. We prove performance guarantees that are order-optimal in a number of circumstances.

研究动机与目标

• 分析当条目受噪声污染时，OptSpace 算法在矩阵补全中的鲁棒性。
• 在概率噪声模型与最坏情况噪声模型下，建立 OptSpace 的性能保证。
• 证明该算法在从噪声且不完整观测中重构低秩矩阵时，实现了阶次最优的样本复杂度。
• 表明重构误差相对于噪声水平、矩阵秩和矩阵条件数的缩放关系达到最优。
• 为该算法在协同过滤与运动结构恢复等实际场景中表现出的低复杂度与高精度提供理论依据。

提出的方法

• OptSpace 采用两阶段方法：首先通过截断奇异值分解对修剪后的观测矩阵 $ \tilde{N}^E $ 进行谱初始化，随后在正交矩阵 $ X, Y $ 上进行流形优化。
• 该算法最小化一个非凸代价函数 $ F(X,Y) = \min_S \sum_{(i,j)\in E} (N_{ij} - (XSY^T)_{ij})^2 $，并施加约束 $ X^T X = mI $，$ Y^T Y = nI $，以确保归一化。
• 通过修剪操作消除 $ N^E $ 中过度代表的行与列，降低偏差并改善谱估计。
• 将代价函数修改为 $ \widetilde{F}(X,Y) $，以在 Stiefel 流形上的梯度下降过程中提升收敛性与稳定性。
• 理论分析依赖于高斯噪声与有界噪声的集中不等式，利用 $ \mathbb{E}[\|Z^E\|_2] \leq C\sigma\sqrt{\epsilon\sqrt{\alpha}\log n} $ 对谱范数 $ \|Z^E\|_2 $ 进行上界估计，适用于概率噪声模型。
• 对于最坏情况噪声，采用上界 $ \|\widetilde{Z}^E\|_2 \leq Z_{\text{max}} \|\widetilde{D}^E\|_2 $，其中 $ \|\widetilde{D}^E\|_2 \leq (2\epsilon)^k $，利用有界度数二分图结构。

实验结果

研究问题

• RQ1 在噪声且不完整观测下，OptSpace 能否实现阶次最优的样本复杂度？
• RQ2 OptSpace 的重构误差如何随噪声方差、矩阵秩和条件数变化？
• RQ3 修剪与归一化对含噪声条目的矩阵补全收敛性与准确率有何影响？
• RQ4 在噪声环境下，OptSpace 的理论保证与核范数最小化等凸松弛方法相比如何？
• RQ5 在何种条件下，OptSpace 能够以高概率实现误差界匹配信息论极限的恢复？

主要发现

• 在概率噪声下，噪声矩阵的期望谱范数满足 $ \mathbb{E}[\|Z^E\|_2] \leq C\sigma\sqrt{\epsilon\sqrt{\alpha}\log n} $，以高概率成立。
• 当 $ |E| \geq n\log n $ 时，上界收紧为 $ \mathbb{E}[\|Z^E\|_2] \leq C\sigma\sqrt{\epsilon\sqrt{\alpha}} $，样本量越大，性能越优。
• 该算法实现了阶次最优的样本复杂度：$ O(nr \max\{r, \log n\}) $ 个条目足以实现准确恢复，与信息论下界一致。
• 代价函数的梯度满足 $ \|\text{grad}\,\widetilde{F}_0(\mathbf{x})\| \geq C n\epsilon^2 \Sigma_{\text{min}}^4 d(\mathbf{x}, \mathbf{u})^2 $，以高概率成立，确保在真实解附近快速收敛。
• 该算法对次高斯噪声与最坏情况有界噪声均具有鲁棒性，误差界缩放为 $ O(\sigma \sqrt{\epsilon\sqrt{\alpha}}) $。
• 理论保证在关键情形下为阶次最优，相较于 Candès 与 Plan（2009）的前期工作，在噪声依赖性与样本复杂度方面均有改进。