[論文レビュー] Convergence of Adam Under Relaxed Assumptions

Haochuan Li, Alexander Rakhlin+1 more|arXiv (Cornell University)|Apr 27, 2023

Stochastic Gradient Optimization Techniques被引用数 5

ひとこと要約

本稿は、より緩い、現実的な仮定の下で、Adam最適化法が $ε$-停留点への収束を保証する初の結果を確立している—具体的には、一般化された非一様な滑らかさ条件と勾配の有界性を仮定しないこと。著者らは、勾配の有界性を仮定するのではなく、それを結果として導出する独自の証明技法を用い、$Ó(\epsilon^{-4})$ の勾配複雑度を示した。さらに、分散低減版のAdamを提案し、$Ó(\epsilon^{-3})$ の複雑度を達成した。

ABSTRACT

In this paper, we provide a rigorous proof of convergence of the Adaptive Moment Estimate (Adam) algorithm for a wide class of optimization objectives. Despite the popularity and efficiency of the Adam algorithm in training deep neural networks, its theoretical properties are not yet fully understood, and existing convergence proofs require unrealistically strong assumptions, such as globally bounded gradients, to show the convergence to stationary points. In this paper, we show that Adam provably converges to $ε$-stationary points with ${O}(ε^{-4})$ gradient complexity under far more realistic conditions. The key to our analysis is a new proof of boundedness of gradients along the optimization trajectory of Adam, under a generalized smoothness assumption according to which the local smoothness (i.e., Hessian norm when it exists) is bounded by a sub-quadratic function of the gradient norm. Moreover, we propose a variance-reduced version of Adam with an accelerated gradient complexity of ${O}(ε^{-3})$.

研究の動機と目的

• 非凸最適化におけるAdam最適化法の経験的成功と理論的理解の間のギャップを埋めること。
• 既存のAdam収束証明において不切実な仮定とされるグローバルな勾配の有界性を排除すること。
• 局所ヘッセ行列ノルムが勾配ノルムの下に二次関数より小さい関数で有界であるような一般化された滑らかさ条件の下で収束を確立すること。
• より現実的な条件下で、$ε$-停留点への収束に対して次元に依存しない勾配複雑度を達成すること。
• より良い収束速度を達成するための分散低減版Adamの提案と分析を行うこと。

提案手法

• 標準的なグローバルリプシッツ滑らかさを緩和するため、局所ヘッセ行列ノルムが勾配ノルムの下に二次関数より小さい関数で有界である一般化された滑らかさ仮定を導入する。
• 勾配の有界性を事前に仮定する代わりに、一般化された滑らかさとノイズ仮定から、Adamの軌道上での勾配の有界性が導かれるという、独自の証明技法を開発する。
• 高確率の集中不等式とマルコフの不等式を用いて、大きな勾配や非最適な反復の確率を制御する。
• STORMアルゴリズムにインspiredされた、モーメンタム更新ルールを変更することで、分散低減版のAdamを提案し、収束を加速する。
• 個々の成分関数 $f(\cdot, \xi)$ に対して追加の一般化された滑らかさ仮定を置き、新しいアルゴリズムを分析する。
• 勾配の有界性の結果を活用して、Adamの解析をAdaBoundの解析に還元し、緩い条件下での収束証明を簡略化する。

実験結果

リサーチクエスチョン

• RQ1 グローバルに有界な勾配やリプシッツ連続勾配を仮定せずに、Adamが $ε$-停留点に収束することを証明できるか？
• RQ2 局所滑らかさが勾配ノルムの下に二次関数より小さい関数で増加する一般化された非一様滑らかさ条件が、Adamの収束に十分か？
• RQ3 これらの緩い仮定の下でも、Adamの勾配複雑度が $Ó(\epsilon^{-4})$ のまま維持できるか？
• RQ4 分散低減技術をAdamに効果的に統合し、$Ó(\epsilon^{-3})$ のより速い収束速度を達成できるか？
• RQ5 勾配の有界性を最適化プロセスの結果として導出できるか、仮定としてではなく？

主な発見

• 本稿は、一般化された滑らかさ仮定の下で、勾配の有界性を仮定しない条件下で、Adamが $ε$-停留点に $Ó(\epsilon^{-4})$ の勾配複雑度で収束することを証明した。
• 新たな証明技法により、グローバルリプシッツ性がなくても、Adamの軌道上での勾配ノルムが高確率で有界のまま保たれることを示した。
• 勾配の有界性は、一般化された滑らかさ条件とノイズ仮定から導かれるものであり、従来の仮定から証明可能な結果へと変換された。
• 提案された分散低減版Adamは、成分関数に対する追加の一般化された滑らかさ仮定の下で、$Ó(\epsilon^{-3})$ の改善された勾配複雑度を達成した。
• 解析により、より強い仮定の下での既存の最良のレートと同等の収束速度が、緩い条件下でも達成されることを示した。これは、理論的頑健性を示している。
• 結果は次元に依存せず、中心化され、有界な勾配ノイズの下でも成り立つため、深層学習における確率的最適化に適用可能である。