[论文解读] Exact Matrix Completion via Convex Optimization

Emmanuel J. Candès, Benjamin Recht|ArXiv.org|May 29, 2008

Sparse and Compressive Sensing Techniques参考文献 27被引用 57

一句话总结

该论文证明，通过求解一个最小化核范数的凸优化问题，大多数低秩矩阵可从近乎最少数量的随机采样子集中精确恢复。关键结果表明，当采样条目数超过 $ C n^{1.2} r /\log n $ 时，以高概率可实现精确恢复，其中 $ n $ 为矩阵维度，$ r $ 为秩。

ABSTRACT

We consider a problem of considerable practical interest: the recovery of a data matrix from a sampling of its entries. Suppose that we observe m entries selected uniformly at random from a matrix M. Can we complete the matrix and recover the entries that we have not seen? We show that one can perfectly recover most low-rank matrices from what appears to be an incomplete set of entries. We prove that if the number m of sampled entries obeys m >= C n^{1.2} r log n for some positive numerical constant C, then with very high probability, most n by n matrices of rank r can be perfectly recovered by solving a simple convex optimization program. This program finds the matrix with minimum nuclear norm that fits the data. The condition above assumes that the rank is not too large. However, if one replaces the 1.2 exponent with 1.25, then the result holds for all values of the rank. Similar results hold for arbitrary rectangular matrices as well. Our results are connected with the recent literature on compressed sensing, and show that objects other than signals and images can be perfectly reconstructed from very limited information.

研究动机与目标

• 解决从矩阵条目的少量均匀随机子集恢复低秩矩阵这一基本问题。
• 确定在高概率下实现精确恢复所需的最少采样条目数。
• 建立核范数最小化可靠恢复原始矩阵的条件。
• 将压缩感知理论扩展至矩阵恢复，表明矩阵——如同信号一样——可从不完整信息中重建。
• 为推荐系统和传感器网络定位等实际场景中的矩阵补全提供理论保证。

提出的方法

• 提出一个凸优化程序，通过拟合观测条目来最小化矩阵的核范数。
• 利用核范数与谱范数之间的对偶性，借助随机矩阵理论推导恢复保证。
• 利用非交换Khintchine不等式和解耦技术，界定随机矩阵扰动的算子范数。
• 应用Rademacher混沌过程的集中不等式，控制采样算子与其期望的偏差。
• 证明采样算子以高概率满足低秩矩阵的限制等距性质（RIP）。
• 利用核范数与谱范数的对偶性，证明凸规划的解唯一且等于原始矩阵。

实验结果

研究问题

• RQ1 能否通过凸优化方法，从矩阵条目的少量随机子集中精确恢复低秩矩阵？
• RQ2 为确保高概率下对秩为 $ r $ 的矩阵实现精确恢复，所需的最少采样条目数是多少？
• RQ3 核范数最小化是否可作为矩阵补全中秩最小化的可靠凸代理？
• RQ4 采样机制（均匀随机）如何影响恢复性能和理论保证？
• RQ5 压缩感知理论能否扩展至超越信号与图像重建的矩阵恢复问题？

主要发现

• 当采样条目数 $ m $ 满足 $ m \geq C n^{1.2} r /\log n $ 时，对于大多数 $ n \times n $ 秩为 $ r $ 的矩阵，以高概率可实现精确恢复，其中 $ C $ 为绝对常数。
• 当采样为均匀随机且条目数达到上述阈值时，核范数最小化程序可精确恢复原始矩阵。
• 当将指数 $ 1.2 $ 替换为 $ 1.25 $ 时，该恢复保证对所有秩均成立，从而将结果推广至任意秩值。
• 该方法对噪声具有鲁棒性，且适用于矩形矩阵，不仅限于方阵。
• 理论框架将矩阵补全与压缩感知联系起来，表明低秩矩阵可像稀疏信号一样，从不完整数据中重建。
• 分析依赖于测度集中性，以及通过非交换Khintchine不等式和解耦技术得到的算子范数界。