[论文解读] Convergence Analysis for Rectangular Matrix Completion Using Burer-Monteiro Factorization and Gradient Descent

Qinqing Zheng, John Lafferty|arXiv (Cornell University)|May 23, 2016

Sparse and Compressive Sensing Techniques参考文献 28被引用 114

一句话总结

本文分析了矩形矩阵完成的非凸提升（lifted）表示，在接近最小观测量下，证明了梯度下降在高概率意义下的线性收敛。

ABSTRACT

We address the rectangular matrix completion problem by lifting the unknown matrix to a positive semidefinite matrix in higher dimension, and optimizing a nonconvex objective over the semidefinite factor using a simple gradient descent scheme. With $O( μr^2 κ^2 n \max(μ, \log n))$ random observations of a $n_1 imes n_2$ $μ$-incoherent matrix of rank $r$ and condition number $κ$, where $n = \max(n_1, n_2)$, the algorithm linearly converges to the global optimum with high probability.

研究动机与目标

• 动机与研究基于半定义升维（semidefinite lifting）和因子化的低秩矩阵完成问题。
• 引入一个在半正定因子上的非凸目标函数，并分析带谱初始化的梯度下降。
• 在何种条件下可识别真实的提升解，且梯度下降几何收敛。
• 给出以秩、相干性和条件数表示的明确样本复杂度要求与收敛速度。

提出的方法

• 将 X* 提升为正半定矩阵 Y*，并表示为 Y*=Z Z^T，其中 Z ∈ R^{(n1+n2) x r}。
• 构造一个非凸目标 f(Z)，衡量提升误差并加入用于对齐列空间的正则化项（λ=1/2）。
• 应用带有闭式无相干投影的投影梯度下降，投影到集合 C 以维持无相干性。
• 以 p^{-1}P_Omega(X*) 的前 r 阶因子作为初始化，进行谱初始化。
• 在伯努利（或均匀）采样下，若 m >= c μ r^2 κ^2 max(μ, log n) n 观测值，则证明收敛到解集的线性收敛。
• 给出局部正则性条件 RC，并给出依赖于 μ、r、κ、p 的收敛率。

实验结果

研究问题

• RQ1 在随机观测下，哪些样本复杂度（以 μ、r、κ、n 表示）足以可识别地恢复矩形低秩矩阵 X*？
• RQ2 当以谱初始化时，提升后的非凸目标的梯度下降是否线性收敛到全局最优解，需满足哪些条件？
• RQ3 正则化项与无相干约束如何影响提升的 Burer-Monteiro 因式分解在矩形矩阵完成中的收敛性与可识别性？
• RQ4 所提出的方法在理论和实践中与现有的凸和非凸矩阵完成方法相比如何？

主要发现

方法	复杂度
GD	2mr+m+n^{2}r+4nr
SVP	O(n^{2}r)
OptSpace	O(mr^{3}+n^{2}r^{2}+nr^{4}+r^{6})
nuclear	O(n^{3})
AltMin	O(mr^{2})

• 在观测数满足 m >= c0 μ r^2 κ^2 max(μ, log n) n 时，梯度下降迭代在高概率下几何收敛到提升解。
• 谱初始化使起点位于解集的一个很小的邻域内，在合适的步长和正则化下实现线性收敛。
• 正则化 λ=1/2 给出局部正则性条件，确保收敛；若没有它，收敛行为可能不同。
• 该算法在伯努利采样模型下实现全局收敛保证，样本复杂度与 μ、r、κ、n 相关，但在所述结果中与所期望的精度无关。
• 实验结果支持所提梯度下降方法相对于 SVP、OptSpace、核范数和信赖域方法在可扩展性和运行时间上的竞争力。