[论文解读] Global Optimality of Local Search for Low Rank Matrix Recovery

Srinadh Bhojanapalli, Behnam Neyshabur+1 more|arXiv (Cornell University)|May 23, 2016

Sparse and Compressive Sensing Techniques参考文献 27被引用 158

一句话总结

本文证明在不相干性 RIP 条件下，非凸因式分解的低秩矩阵恢复不存在伪局部极小点，并且表明从随机初始化的 SGD 在多项式时间内收敛到全局最优解（无噪声和有噪声情形）。

ABSTRACT

We show that there are no spurious local minima in the non-convex factorized parametrization of low-rank matrix recovery from incoherent linear measurements. With noisy measurements we show all local minima are very close to a global optimum. Together with a curvature bound at saddle points, this yields a polynomial time global convergence guarantee for stochastic gradient descent {\em from random initialization}.

研究动机与目标

• 以秩约束的非凸因式分解来动机化并分析矩阵感知问题。
• 在不相干性和类似 RIP 条件下建立不存在伪局部极小点。
• 证明鞍点具有负曲率，能够使从随机起点的 SGD 实现多项式时间收敛到全局最优解。
• 将结果扩展到有噪声和近似低秩的情形。
• 与凸松弛进行比较，并讨论初始化和优化的实际意义。

提出的方法

• 研究分解目标函数 f(U) = ||A(UU^T) − y||^2，约束秩由 U ∈ R^{n×r} 控制。
• 假设测量算子 A 满足 (2r, δ_{2r})-RIP，且 δ_{2r} < 1/5（无噪声）或 < 1/10（有噪声）。
• 利用一阶和二阶最优性来刻画局部极小点，并通过正交变换 R 将 U 与全局最优解 U* 对齐。
• 证明不存在伪局部极小点：若 y = A(X*) 且 rank(X*) ≤ r，则在任意局部极小点处 UU^T = X*（无噪声）。
• 证明严格鞍点性质：非全局临界点的最小Hessian特征值为负，从而使从随机初始化的 SGD 能在多项式时间内达到全局最优解。
• 扩展到近似低秩和有噪声的情形，表明局部极小点靠近 X* 或 X*_r，且误差上界取决于噪声和近似误差。

实验结果

研究问题

• RQ1 在不相干性/RIP 条件下，非凸因式分解的矩阵感知问题是否存在伪局部极小点？
• RQ2 从随机初始化出发，秩约束的非凸矩阵恢复中 SGD 能否收敛到全局最优解？
• RQ3 有噪声的测量和近似低秩性如何影响局部极小点的质量和位置？
• RQ4 在何种精确条件下（RIP 常数、秩、噪声水平）能保证局部搜索的全局最优性？
• RQ5 就样本复杂度和所需条件而言，这些结果与凸松弛相比如何？

主要发现

• 在 (2r, δ_{2r})-RIP，且 δ_{2r} < 1/5（无噪声）或 δ_{2r} < 1/10（有噪声）时，每个局部极小点 U 满足 UU^T = X*（无噪声情形下的精确恢复）。
• 在有噪声的情形中，所有局部极小点都接近真分解 X* = U*U*^T，误差由随噪声和测量而变化的项界定。
• 所有鞍点都具有负曲率方向，允许逃离，并使从随机初始化的 SGD 能在多项式时间内收敛到全局最优解（通过对严格鞍点的现有 SGD 结果）。
• 对于近似低秩的 X*，局部极小点满足 ||UU^T − X*||_F 的上界是最佳秩-r近似误差 ||X* − X_r*||_F 与 δ_{2r} · ||X* − X_r*||_* 的函数。
• 所需的 RIP 条件和测量数量（高斯测量下为 O(nr)）比先前的保证更温和或可比，达到与常数圈定的最优样本复杂度相匹配。
• 结果表明，通过 SVD 进行初始化并非全局收敛所必需，这与实际局部搜索方法一致。