[论文解读] Noisy Matrix Completion: Understanding Statistical Guarantees for Convex Relaxation via Nonconvex Optimization

Yuxin Chen, Yuejie Chi+3 more|arXiv (Cornell University)|Feb 20, 2019

Sparse and Compressive Sensing Techniques参考文献 94被引用 21

一句话总结

本文通过将凸松弛与非凸优化相连接，为在噪声观测下进行凸低秩矩阵补全建立了近最优的统计保证。证明表明，当秩和条件数有界时，核范数最小化在Frobenius范数、逐元素范数和谱范数下均达到近乎极小极大最优的误差，其理论依据在于近似非凸临界点的稳定性，从而将非凸优化的理论保证成功转移至凸优化形式。

ABSTRACT

This paper studies noisy low-rank matrix completion: given partial and noisy entries of a large low-rank matrix, the goal is to estimate the underlying matrix faithfully and efficiently. Arguably one of the most popular paradigms to tackle this problem is convex relaxation, which achieves remarkable efficacy in practice. However, the theoretical support of this approach is still far from optimal in the noisy setting, falling short of explaining its empirical success. We make progress towards demystifying the practical efficacy of convex relaxation vis-à-vis random noise. When the rank and the condition number of the unknown matrix are bounded by a constant, we demonstrate that the convex programming approach achieves near-optimal estimation errors --- in terms of the Euclidean loss, the entrywise loss, and the spectral norm loss --- for a wide range of noise levels. All of this is enabled by bridging convex relaxation with the nonconvex Burer-Monteiro approach, a seemingly distinct algorithmic paradigm that is provably robust against noise. More specifically, we show that an approximate critical point of the nonconvex formulation serves as an extremely tight approximation of the convex solution, thus allowing us to transfer the desired statistical guarantees of the nonconvex approach to its convex counterpart.

研究动机与目标

• 理解为何尽管理论支持较弱，凸松弛在噪声低秩矩阵补全中仍表现良好。
• 弥合核范数最小化在噪声条件下的经验成功与理论理解之间的差距。
• 在Frobenius范数、逐元素范数和谱范数下，为凸松弛建立近乎最优的估计误差界。
• 证明近似非凸临界点能紧密逼近凸解，从而实现理论保证的转移。
• 通过证明非凸优化的鲁棒性可推出凸松弛的鲁棒性，统一分析凸与非凸方法。

提出的方法

• 作者采用Burer–Monteiro非凸形式作为代理，分析凸核范数最小化问题。
• 在特定条件下，建立了凸与非凸形式之间的精确对偶性。
• 通过梯度下降构造近似非凸优化器，并证明其与凸解保持接近。
• 通过分析非凸迭代点与真实低秩矩阵之间的距离，结合奇异值扰动理论，推导误差界。
• 利用矩阵符号函数和矩阵范数不等式，控制凸解与非凸解之间的差异。
• 通过证明近似非凸临界点是凸解的紧密逼近，从而证明凸解继承了非凸方法的稳定性。

实验结果

研究问题

• RQ1 为何在理论保证较弱的情况下，凸松弛在噪声矩阵补全中仍能取得优异的实验性能？
• RQ2 能否利用非凸优化方法的鲁棒性，为凸松弛提供更强的理论保证？
• RQ3 在何种条件下，凸松弛在噪声矩阵补全中可实现近乎极小极大最优的误差？
• RQ4 当底层矩阵的秩和条件数有界时，凸与非凸形式的解有多接近？
• RQ5 近似非凸临界点能否作为凸解的紧密代理，从而实现统计保证的转移？

主要发现

• 当真实矩阵的秩和条件数有界于常数时，核范数最小化在Frobenius范数下实现了近乎最优的估计误差。
• 该方法在逐元素范数下也实现了近乎最优的误差，误差规模为 $ O(\sqrt{\log n}/\sqrt{n}) $，在适当的噪声水平下成立。
• 谱范数误差同样近乎最优，其界按 $ O(\sqrt{\log n}/\sqrt{n}) $ 缩放，与极小极大下界相比仅差对数因子。
• 近似非凸临界点与凸解之间的距离在 $ O(\|E\|_F) $ 以内，从而实现了稳定性保证的转移。
• 分析表明，凸解继承了非凸方法的鲁棒性，解释了其经验成功的原因。
• 该结果在广泛的噪声水平下成立，包括次高斯噪声和有界噪声，且在随机采样矩阵元素的条件下依然有效。