[論文レビュー] Global Convergence of Gradient Descent for Asymmetric Low-Rank Matrix Factorization

Ye Tian, Simon S. Du|arXiv (Cornell University)|Jun 27, 2021

Sparse and Compressive Sensing Techniques参考文献 20被引用数 6

ひとこと要約

この論文は、ノイズ注入やバランス正則化を必要とせずに、多項式収束速度を伴い、非対称な低ランク行列分解におけるランダム初期化された勾配降下法がグローバルに最小値に収束することを証明している。著者らは、非凸性とアンバランスな行列ノルムに対処するため、新たな対称化技術と定量的摂動解析を導入し、定数学習率を用いた標準勾配降下法における収束を確立した。

ABSTRACT

We study the asymmetric low-rank factorization problem: \[\min_{\mathbf{U} \in \mathbb{R}^{m imes d}, \mathbf{V} \in \mathbb{R}^{n imes d}} \frac{1}{2}\|\mathbf{U}\mathbf{V}^ op -\mathbfΣ\|_F^2\] where $\mathbfΣ$ is a given matrix of size $m imes n$ and rank $d$. This is a canonical problem that admits two difficulties in optimization: 1) non-convexity and 2) non-smoothness (due to unbalancedness of $\mathbf{U}$ and $\mathbf{V}$). This is also a prototype for more complex problems such as asymmetric matrix sensing and matrix completion. Despite being non-convex and non-smooth, it has been observed empirically that the randomly initialized gradient descent algorithm can solve this problem in polynomial time. Existing theories to explain this phenomenon all require artificial modifications of the algorithm, such as adding noise in each iteration and adding a balancing regularizer to balance the $\mathbf{U}$ and $\mathbf{V}$. This paper presents the first proof that shows randomly initialized gradient descent converges to a global minimum of the asymmetric low-rank factorization problem with a polynomial rate. For the proof, we develop 1) a new symmetrization technique to capture the magnitudes of the symmetry and asymmetry, and 2) a quantitative perturbation analysis to approximate matrix derivatives. We believe both are useful for other related non-convex problems.

研究の動機と目的

• 非凸的・アンバランスな行列分解問題における勾配降下法の実験的成功と理論的理解のギャップを埋めること。
• 定数学習率を用いた標準勾配降下法が多項式速度でグローバル収束することを証明すること。
• ノイズ注入や正則化などの人工的修正なしに、アルゴリズムが自己バランス特性を維持することを確立すること。
• 機械学習分野におけるより広範な非凸最適化問題に適用可能な新しい解析的手法を開発すること。

提案手法

• UとV行列間の非対称性を定量化・制御するための新しい対称化技術を導入する。
• アンバランスなノルム下での行列微分の近似を可能にする定量的摂動解析を開発する。
• 最適化軌道を主成分と残差成分に分解し、段階的収束解析を実施する。
• 帰納法と再帰的バウンディングを用いて、反復回数に伴う非対称性（‖Bt‖F）と誤差（‖Σ−UtVt⊤‖F）の増大を制御する。
• グローバル初期化フェーズと局所的線形収束フェーズの2段階に分けた収束を確立する。
• 学習率η=O(σdε²/(dσ₁³))と初期化スケールεを設定し、非対称性の有界性と幾何的誤差の減少を保証する。

実験結果

リサーチクエスチョン

• RQ1 定数学習率を用いた標準勾配降下法は、人工的修正なしに非対称な低ランク行列分解に対してグローバル収束を達成できるか？
• RQ2 アンバランスなUとVによる非滑らかさは、収束解析においてどのように扱えるか？
• RQ3 初期状態の非対称性にもかかわらず、勾配降下法がUとVのバランスを維持するメカニズムは何か？
• RQ4 この非凸的・非滑らか設定において、勾配降下法の多項式収束速度を証明できるか？
• RQ5 このようなアンバランスで非凸な問題を解析するためには、どのような新しい解析的手法が必要か？

主な発見

• 定数学習率を用いた勾配降下法は、非対称な低ランク因子分解問題においてグローバルに最小値に収束する。
• 収束速度は多項式的であり、特に初期フェーズを除きO((1−ησd/2)^t)の形をとり、δ-最適性に到達するにはO(ln(σd/δ)/(ησd))回の反復が必要となる。
• 訓練全体を通して非対称性が有界に保たれ、十分に小さなεに対して‖Bt‖F² ≤ O(ε²)が成り立つ。
• 学習率ηはO(σdε²/(dσ₁³))として選択され、εは˜O(σd/(√σ₁eb(m+n)))として設定され、収束を保証する。
• 証明は、非対称性と収束の相互作用を捉えるために、新規の対称化技術と摂動解析に依存している。
• 結果は、勾配降下法が明示的な正則化やノイズ注入なしに、本質的にUとVをバランスさせる能力を有することを確認している。