[論文レビュー] Adam Can Converge Without Any Modification On Update Rules

Yushun Zhang, Congliang Chen+3 more|arXiv (Cornell University)|Aug 20, 2022

Stochastic Gradient Optimization Techniques被引用数 6

ひとこと要約

この論文は、最適化問題を最初に固定し、その後でβ₁とβ₂を調整するという、従来とは逆の理論的枠組みを採用することで、更新ルールに変更を加えずにAdam最適化法が臨界点の近傍に収束することを証明している。β₂が大きく、β₁ < √β₂ < 1であるときの収束を確立し、β₁ = 0.9という標準的な設定（深層学習ライブラリのデフォルト）をカバーする。β₂が増加するに従い、発散から収束への段階的転移（phase transition）が特定された。

ABSTRACT

Ever since Reddi et al. 2018 pointed out the divergence issue of Adam, many new variants have been designed to obtain convergence. However, vanilla Adam remains exceptionally popular and it works well in practice. Why is there a gap between theory and practice? We point out there is a mismatch between the settings of theory and practice: Reddi et al. 2018 pick the problem after picking the hyperparameters of Adam, i.e., $(β_1, β_2)$; while practical applications often fix the problem first and then tune $(β_1, β_2)$. Due to this observation, we conjecture that the empirical convergence can be theoretically justified, only if we change the order of picking the problem and hyperparameter. In this work, we confirm this conjecture. We prove that, when $β_2$ is large and $β_1 &lt; \sqrt{β_2}&lt;1$, Adam converges to the neighborhood of critical points. The size of the neighborhood is propositional to the variance of stochastic gradients. Under an extra condition (strong growth condition), Adam converges to critical points. It is worth mentioning that our results cover a wide range of hyperparameters: as $β_2$ increases, our convergence result can cover any $β_1 \in [0,1)$ including $β_1=0.9$, which is the default setting in deep learning libraries. To our knowledge, this is the first result showing that Adam can converge without any modification on its update rules. Further, our analysis does not require assumptions of bounded gradients or bounded 2nd-order momentum. When $β_2$ is small, we further point out a large region of $(β_1,β_2)$ where Adam can diverge to infinity. Our divergence result considers the same setting as our convergence result, indicating a phase transition from divergence to convergence when increasing $β_2$. These positive and negative results can provide suggestions on how to tune Adam hyperparameters.

研究の動機と目的

• Adam最適化法の収束に関する長年の理論と実践のギャップを解消すること。
• アルゴリズムの変更なしに、vanilla Adamが収束する条件を同定すること。
• 理論的発散問題にもかかわらず、なぜAdamが実際にはうまく機能するのかを説明すること。
• 実際のハイパーパrameter調整の順序と整合する収束フレームワークを確立すること。
• β₂の増加に伴う発散から収束への段階的転移を特徴づけること。

提案手法

• 最適化問題を最初に固定し、その後でβ₁とβ₂を調整するという、従来とは逆の理論的分析を再構築する（従来の研究ではハイパーパrameterを最初に固定していた）。
• β₂が大きく、β₁ < √β₂ < 1であるとき、Adamが臨界点の近傍に収束することを証明する。
• 有界な勾配や有界な2階モーメントを仮定しない強力な成長条件の下で、Adamが臨界点に収束することを確立する。
• 同じフレームワークを用いて、β₂が小さい領域において発散が生じることを分析する。
• 収束近傍における確率的勾配の分散を考慮する、新しい分析技術を用いる。
• β₂の値に基づいて、Adamにおける収束と発散の両方を統一的に説明する理論的枠組みを提供する。

実験結果

リサーチクエスチョン

• RQ1 なぜ理論的発散が過去の研究で指摘されていたにもかかわらず、Adamは実際には収束するのか？
• RQ2 現実的なハイパーパrameter設定下で、更新ルールに変更を加えずにvanilla Adamが収束する可能性はあるか？
• RQ3 β₂がAdamの収束または発散を決定づける役割を果たすのか？
• RQ4 β₂が増加するに従い、Adamの挙動に段階的転移が生じるか？
• RQ5 有界な勾配や有界な2階モーメントを仮定せずに収束を証明できるか？

主な発見

• β₂が大きく、β₁ < √β₂ < 1であるとき、Adamは臨界点の近傍に収束し、近傍の大きさは確率的勾配の分散に比例する。
• 強力な成長条件の下では、Adamは臨界点そのものに収束する（近傍ではなく）。
• 収束結果は、β₁ = 0.9を含むすべての標準的なβ₁値をカバーする。
• β₂が小さい領域に発散領域が特定され、β₂が増加するに従い発散から収束への段階的転移が示された。
• 分析は、有界な勾配や有界な2階モーメントを仮定しないため、従来の研究よりも一般性が高い。
• 理論的枠組みは実際のハイパーパrameter調整の順序と整合しており、理論と実践の不一致を解消している。