[論文レビュー] Large Learning Rate Tames Homogeneity: Convergence and Balancing Effect

Yuqing Wang, Minshuo Chen+2 more|arXiv (Cornell University)|Oct 7, 2021

Stochastic Gradient Optimization Techniques参考文献 45被引用数 4

ひとこと要約

本稿は、同次行列因子分解における大きな学習率を用いた勾配降下法の収束性と暗黙のバイアスを確立し、大きな学習率が初期値が非対称であっても、要因XとYの大きさを等しくする「バランス効果」を引き起こすことを証明している。理論は標準的な2/Lの閾値をはるかに超えて収束を示し、バランスの程度は2/hで定量化され、スカラーおよび一般行列ケースにおける数値実験によって裏付けられている。

ABSTRACT

Recent empirical advances show that training deep models with large learning rate often improves generalization performance. However, theoretical justifications on the benefits of large learning rate are highly limited, due to challenges in analysis. In this paper, we consider using Gradient Descent (GD) with a large learning rate on a homogeneous matrix factorization problem, i.e., $\min_{X, Y} \|A - XY^ op\|_{\sf F}^2$. We prove a convergence theory for constant large learning rates well beyond $2/L$, where $L$ is the largest eigenvalue of Hessian at the initialization. Moreover, we rigorously establish an implicit bias of GD induced by such a large learning rate, termed 'balancing', meaning that magnitudes of $X$ and $Y$ at the limit of GD iterations will be close even if their initialization is significantly unbalanced. Numerical experiments are provided to support our theory.

研究の動機と目的

• 深層学習における大きな学習率の経験的成功を理論的に正当化すること、特に非凸最適化において。
• ReLUネットワークやその他の深層学習アーキテクチャをモデル化する同次行列因子分解問題における、大きな学習率を用いた勾配降下法の分析。
• 学習率が標準的な2/Lの閾値を超える場合、勾配降下法（GD）の収束を確立すること、特に約4/Lまで。
• 大きな学習率の暗黙のバイアスを厳密に特徴づけ、XとYが同程度の大きさに収束する「バランス」と呼ばれるもの。
• Frobeniusノルム差||X−Y||_F²の観点からバランスの程度を定量化し、hに依存して任意の要因で小さくできることを示すこと。

提案手法

• 定数の大きな学習率hを用いた同次行列因子分解問題における勾配降下法の分析：min_X,Y ||A − XYᵀ||_F²。
• 特異値分解（SVD）を用いて一般行列ケースを対角問題に簡略化し、変数RとSの変換により解析可能にする。
• 初期値におけるヘッセ行列を導出し、最大固有値Lを評価して、収束の臨界閾値h ≈ 4/Lを定義する。
• ヘッセ行列から導かれる行列Mを用いた反復写像I − hMの安定性解析を適用し、収束条件を導出する。
• 収束時に||X||_F² + ||Y||_F² ≤ 2/(ch)が成り立つことを示し、cはnとdに依存する定数である。これによりバランスの境界が得られる。
• グローバル最小値が非孤立であり、サドルポイントが不安定であることに着目し、ほとんどすべての初期値に対して安定な固定点への収束が成立することを示す。

実験結果

リサーチクエスチョン

• RQ1 同次行列因子分解問題において、大きな学習率（h > 2/L）を用いた勾配降下法は収束するか？
• RQ2 大きな学習率は、XとYの大きさがほぼ等しくなる「バランス」を示す平坦な最小値への暗黙のバイアスを誘発するか？
• RQ3 バランス効果は定量的に測定可能か？また、学習率hにどのように依存するか？
• RQ4 大きなhのもとで、収束時のFrobeniusノルム差||X − Y||_F²の理論的上限は何か？
• RQ5 行列Aが等方的または対角行列の場合、収束およびバランスの挙動はどのように変化するか？

主な発見

• スカラー因子分解（n=1）の場合、h ≲ 4/Lの勾配降下法はグローバル最小値に収束し、||X||_F² + ||Y||_F² ≤ 2/hを満たす。
• バランス効果は||X − Y||_F² ≤ 2/h − 2Aで定量化され、hが増加するにつれて差を任意の要因で小さくできることを示している。
• 一般ケース（n, dが任意）では、ある正の定数c > 0（n, d, hに依存しない）を用いて、||X||_F² + ||Y||_F² ≤ 2/(ch)が成り立つことが保証される。
• SVDを用いて一般行列へ拡張可能であり、問題は対角化され、収束性とバランスの成立が証明される。
• 数値実験により理論的予測が裏付けられており、初期値が著しく非対称であっても||X − Y||_F²が顕著に減少することが示された。
• 収束領域は古典的な2/Lの閾値をはるかに超えて延長されており、h ≈ 4/Lが実用的かつ有益であることが示された。