[论文解读] Global Convergence of Gradient Descent for Asymmetric Low-Rank Matrix Factorization

Ye Tian, Simon S. Du|arXiv (Cornell University)|Jun 27, 2021

Sparse and Compressive Sensing Techniques参考文献 20被引用 6

一句话总结

该论文证明了在不依赖噪声注入或平衡正则化的情况下，对于非对称低秩矩阵分解问题，随机初始化的梯度下降能够以多项式收敛速率全局收敛至全局最小值。作者提出了一种新颖的对称化技术与定量扰动分析，以处理非凸性与非平衡矩阵范数问题，从而在使用常数学习率的标准梯度下降下建立了收敛性。

ABSTRACT

We study the asymmetric low-rank factorization problem: \[\min_{\mathbf{U} \in \mathbb{R}^{m imes d}, \mathbf{V} \in \mathbb{R}^{n imes d}} \frac{1}{2}\|\mathbf{U}\mathbf{V}^ op -\mathbfΣ\|_F^2\] where $\mathbfΣ$ is a given matrix of size $m imes n$ and rank $d$. This is a canonical problem that admits two difficulties in optimization: 1) non-convexity and 2) non-smoothness (due to unbalancedness of $\mathbf{U}$ and $\mathbf{V}$). This is also a prototype for more complex problems such as asymmetric matrix sensing and matrix completion. Despite being non-convex and non-smooth, it has been observed empirically that the randomly initialized gradient descent algorithm can solve this problem in polynomial time. Existing theories to explain this phenomenon all require artificial modifications of the algorithm, such as adding noise in each iteration and adding a balancing regularizer to balance the $\mathbf{U}$ and $\mathbf{V}$. This paper presents the first proof that shows randomly initialized gradient descent converges to a global minimum of the asymmetric low-rank factorization problem with a polynomial rate. For the proof, we develop 1) a new symmetrization technique to capture the magnitudes of the symmetry and asymmetry, and 2) a quantitative perturbation analysis to approximate matrix derivatives. We believe both are useful for other related non-convex problems.

研究动机与目标

• 弥合非凸、非平衡矩阵分解问题中梯度下降的实证成功与理论理解之间的差距。
• 证明在使用常数学习率的标准梯度下降下，能够以多项式速率实现全局收敛。
• 建立算法在无需人工修改（如噪声注入或正则化）的情况下维持自动平衡特性的机制。
• 开发适用于机器学习中更广泛非凸优化问题的新分析工具。

提出的方法

• 提出一种新的对称化技术，以量化并控制U与V矩阵之间的非对称性。
• 开发一种定量扰动分析，以在非平衡范数下近似矩阵导数。
• 将优化轨迹分解为主成分与残差分量，分阶段分析收敛性。
• 利用归纳法与递归界控制非对称性（‖Bt‖F）与误差（‖Σ−UtVt⊤‖F）在迭代过程中的增长。
• 将收敛过程分为两个阶段：全局初始化阶段与局部线性收敛阶段。
• 选择学习率 η=O(σdε²/(dσ₁³)) 与初始化尺度 ε，以确保非对称性有界且误差呈几何级衰减。

实验结果

研究问题

• RQ1 在不引入人工修改（如噪声或正则化）的情况下，使用常数学习率的标准梯度下降能否实现对非对称低秩矩阵分解问题的全局收敛？
• RQ2 在收敛性分析中，如何处理由于U与V非平衡导致的非光滑性？
• RQ3 尽管初始存在非对称性，梯度下降通过何种机制维持U与V之间的平衡？
• RQ4 能否在该非凸、非光滑设置下，证明梯度下降具有多项式收敛速率？
• RQ5 分析此类非平衡、非凸问题需要哪些新的分析工具？

主要发现

• 使用常数学习率的梯度下降能够全局收敛至非对称低秩分解问题的全局最小值。
• 收敛速率为多项式，具体为在初始阶段后呈现 O((1−ησd/2)^t) 的形式，达到 δ-最优性所需迭代次数为 O(ln(σd/δ)/(ησd))。
• 该算法在整个训练过程中保持有界的非对称性，满足 ‖Bt‖F² ≤ O(ε²)，其中 ε 足够小。
• 学习率 η 被设定为 O(σdε²/(dσ₁³))，ε 设为 ˜O(σd/(√σ₁eb(m+n))) 以确保收敛。
• 该证明依赖于一种新颖的对称化技术与扰动分析，能够捕捉非对称性与收敛性之间的相互作用。
• 结果证实，梯度下降本身具有内在的平衡能力，无需显式正则化或噪声注入。