[论文解读] Fast Global Convergence for Low-rank Matrix Recovery via Riemannian Gradient Descent with Random Initialization

Thomas Y. Hou, Zhenzhen Li+1 more|arXiv (Cornell University)|Dec 31, 2020

Sparse and Compressive Sensing Techniques参考文献 45被引用 12

一句话总结

本文提出了一种在低秩矩阵流形上的黎曼梯度下降（PGD）框架，用于实现低秩矩阵恢复的快速全局收敛。通过证明由于流形的有利几何特性及初始角度分布，虚假临界点几乎必然被避免，该方法在随机初始化下以高概率实现近乎线性的收敛速率——$Ó(\text{log}(1/\epsilon) + \text{log}(n))$ 次迭代即可达到真实解。

ABSTRACT

In this paper, we propose a new global analysis framework for a class of low-rank matrix recovery problems on the Riemannian manifold. We analyze the global behavior for the Riemannian optimization with random initialization. We use the Riemannian gradient descent algorithm to minimize a least squares loss function, and study the asymptotic behavior as well as the exact convergence rate. We reveal a previously unknown geometric property of the low-rank matrix manifold, which is the existence of spurious critical points for the simple least squares function on the manifold. We show that under some assumptions, the Riemannian gradient descent starting from a random initialization with high probability avoids these spurious critical points and only converges to the ground truth in nearly linear convergence rate, i.e. $\mathcal{O}( ext{log}(\frac{1}ε)+ ext{log}(n))$ iterations to reach an $ε$-accurate solution. We use two applications as examples for our global analysis. The first one is a rank-1 matrix recovery problem. The second one is a generalization of the Gaussian phase retrieval problem. It only satisfies the weak isometry property, but has behavior similar to that of the first one except for an extra saddle set. Our convergence guarantee is nearly optimal and almost dimension-free, which fully explains the numerical observations. The global analysis can be potentially extended to other data problems with random measurement structures and empirical least squares loss functions.

研究动机与目标

• 建立低秩矩阵恢复问题的统一全局收敛性分析，采用黎曼优化方法。
• 解释在非凸低秩恢复中观察到的快速近乎线性收敛现象，该现象与先前工作中子线性理论保证相矛盾。
• 揭示低秩流形的几何结构，特别是最小二乘损失下虚假临界点的存在性与性质。
• 表明随机初始化几乎必然避免这些虚假临界点，从而实现对真实解的全局收敛。
• 将分析扩展至具有弱等距性质的问题，如高斯相位恢复，并提供近乎最优的收敛保证。

提出的方法

• 将低秩矩阵恢复问题表述为在秩-$r$矩阵流形 $\mathcal{M}_r$ 上的黎曼优化问题。
• 使用黎曼梯度下降（PGD）最小化最小二乘损失 $f(Z) = \frac{1}{2}\|T(Z) - y\|_2^2$。
• 分析总体损失函数 $\mathbb{E}[f(Z)]$ 以研究渐近行为与收敛速率。
• 提出一种新颖的低秩流形几何分析，识别出具有奇异黑塞矩阵特征方向的虚假临界点。
• 在收敛末期应用 Łojasiewicz 不等式，推导出线性收敛速率。
• 利用动态低秩逼近框架追踪列空间演化，并界定从虚假区域逃逸的时间。

实验结果

研究问题

• RQ1 在存在虚假临界点的情况下，随机初始化的黎曼梯度下降能否在低秩矩阵恢复中实现快速全局收敛？
• RQ2 低秩矩阵流形的何种几何特性可解释数值实验中观察到的近乎线性收敛现象？
• RQ3 为何在此非凸设置下，随机初始化几乎必然避免虚假临界点？
• RQ4 收敛速率如何依赖于问题维度与秩？是否可实现与维度无关的收敛？
• RQ5 该分析能否扩展至弱等距问题（如高斯相位恢复），其中标准的 RIP 不成立？

主要发现

• 随机初始化的黎曼梯度下降几乎必然避免虚假临界点，从而以高概率收敛至真实解，其原因在于有利的初始角度分布。
• 收敛速率近乎线性：达到 $\epsilon$-精度仅需 $\mathcal{O}(\text{log}(1/\epsilon) + \text{log}(n))$ 次迭代，接近最优。
• 虚假临界点存在于低秩流形上，且为严格鞍点，具有奇异黑塞矩阵特征方向，因此在梯度流下不稳定。
• 真实解列空间与随机初始化之间的初始夹角以高概率为 $\widetilde{\Omega}(1/n)$，从而能快速逃离虚假区域。
• 该分析适用于标准等距问题（如矩阵感知）与弱等距问题（如相位恢复），二者具有相似的收敛行为。
• 收敛保证近乎与维度无关，因为速率仅对 $n$ 对数依赖，解释了高维数值实验中观察到的鲁棒性。