[論文レビュー] Convergence of AdaGrad for Non-convex Objectives: Simple Proofs and Relaxed Assumptions

Bohan Wang, Huishuai Zhang+2 more|arXiv (Cornell University)|May 29, 2023

Stochastic Gradient Optimization Techniques被引用数 5

ひとこと要約

本稿は、非凸最適化におけるAdaGradの収束解析を単純化し、緩い仮定の下で提示する。勾配と自己適応的学習率のダイナミクスを分離するために、新規の補助関数 ξ を導入する。本稿では、アフィンノイズ分散と有界な滑らかさの下で、AdaGrad が ε-近似静止点に到達するまでの反復回数が O(1/ε²) であることを確立し、SGD と同等の性能を達成する。さらに、より現実的な (L₀, L₁)-滑らかさ条件下への収束を拡張し、臨界的な学習率閾値を同定する。

ABSTRACT

We provide a simple convergence proof for AdaGrad optimizing non-convex objectives under only affine noise variance and bounded smoothness assumptions. The proof is essentially based on a novel auxiliary function $ξ$ that helps eliminate the complexity of handling the correlation between the numerator and denominator of AdaGrad's update. Leveraging simple proofs, we are able to obtain tighter results than existing results \citep{faw2022power} and extend the analysis to several new and important cases. Specifically, for the over-parameterized regime, we show that AdaGrad needs only $\mathcal{O}(\frac{1}{\varepsilon^2})$ iterations to ensure the gradient norm smaller than $\varepsilon$, which matches the rate of SGD and significantly tighter than existing rates $\mathcal{O}(\frac{1}{\varepsilon^4})$ for AdaGrad. We then discard the bounded smoothness assumption and consider a realistic assumption on smoothness called $(L_0,L_1)$-smooth condition, which allows local smoothness to grow with the gradient norm. Again based on the auxiliary function $ξ$, we prove that AdaGrad succeeds in converging under $(L_0,L_1)$-smooth condition as long as the learning rate is lower than a threshold. Interestingly, we further show that the requirement on learning rate under the $(L_0,L_1)$-smooth condition is necessary via proof by contradiction, in contrast with the case of uniform smoothness conditions where convergence is guaranteed regardless of learning rate choices. Together, our analyses broaden the understanding of AdaGrad and demonstrate the power of the new auxiliary function in the investigations of AdaGrad.

研究の動機と目的

• 非凸目的関数に対するAdaGradの収束解析を単純化し、強化すること。
• 標準的な有界滑らかさ仮定を緩め、より現実的な (L₀, L₁)-滑らかさ条件下での解析を可能にすること。
• AdaGradの反復回数の上限をより厳密に特定し、SGD と同等の O(1/ε²) の収束速度を達成すること。
• (L₀, L₁)-滑らかさ条件下での学習率の必要条件を同定し、それが普遍的に収束するわけではないことを示すこと。
• 新規補助関数 ξ が、AdaGrad のような自己適応的最適化手法の解析を簡素化する有効性を示すこと。

提案手法

• AdaGradの更新則における分子と分母を分離するため、新規の補助関数 ξ を導入する。
• ξ を用いて、複雑な相関処理に依存せずに、静止状態への進捗を追跡するリャプノフ型関数を導出する。
• 補助関数を用いて、アフィンノイズ分散と有界滑らかさの下での収束を証明する。
• (L₀, L₁)-滑らかさに拡張し、局所的な滑らかさが勾配ノルムに比例して増加する条件を扱う。
• (L₀, L₁)-滑らかさ下で、収束が学習率が臨界閾値未満である場合にのみ成立することを証明する。
• (L₀, L₁)-滑らかさ下での学習率条件の必要性を背理法を用いて確立する。

実験結果

リサーチクエスチョン

• RQ1 先行研究よりも単純な仮定の下で、AdaGrad の収束を証明できるか？
• RQ2 非凸設定下で、AdaGrad は SGD と同等の反復回数収束性能を達成するか？
• RQ3 有界滑らかさ仮定を (L₀, L₁)-滑らかさに緩和しても、収束保証を失うことなく解析可能か？
• RQ4 (L₀, L₁)-滑らかさ下で、学習率の選択が収束に重要であるか？
• RQ5 統一的な解析フレームワークは、AdaGrad のような自己適応的最適化手法の研究を簡素化できるか？

主な発見

• AdaGrad は ε-近似静止点に到達するまでの反復回数が O(1/ε²) であり、SGD と同等の性能を達成し、先行研究の O(1/ε⁴) の上限を改善する。
• 補助関数 ξ の導入により、勾配と自己適応的学習率の項を分離することで、収束証明が著しく単純化される。
• (L₀, L₁)-滑らかさ条件下では、AdaGrad は学習率が問題依存の閾値未満である場合にのみ収束する。
• (L₀, L₁)-滑らかさ下での学習率閾値は必須である—閾値を超えると収束が失敗する—有界滑らかさの場合とは異なり、収束が保証されない。
• (L₀, L₁)-滑らかさ条件は、局所的な滑らかさが勾配ノルムに比例して増加することを許容するため、深層学習においてより現実的である。
• 補助関数 ξ は、よりタイトで一般化された収束解析を可能にし、自己適応的最適化理論におけるその強力さを示している。