[論文レビュー] A Novel Convergence Analysis for Algorithms of the Adam Family

Zhishuai Guo, Yi Xu+3 more|arXiv (Cornell University)|Dec 7, 2021

Stochastic Gradient Optimization Techniques被引用数 4

ひとこと要約

本稿では、Adam、AMSGrad、Adaboundを含むAdam系最適化アルゴリズムのための包括的で新規の収束解析を提示する。勾配の確率的性質が弱く、モーメンタムパラメータが十分に大きくまたは増加するという条件を満たす限り、非凸最適化において収束を確立する。また、勾配推定器の分散低減性を証明する。

ABSTRACT

Since its invention in 2014, the Adam optimizer has received tremendous attention. On one hand, it has been widely used in deep learning and many variants have been proposed, while on the other hand their theoretical convergence property remains to be a mystery. It is far from satisfactory in the sense that some studies require strong assumptions about the updates, which are not necessarily applicable in practice, while other studies still follow the original problematic convergence analysis of Adam, which was shown to be not sufficient to ensure convergence. Although rigorous convergence analysis exists for Adam, they impose specific requirements on the update of the adaptive step size, which are not generic enough to cover many other variants of Adam. To address theses issues, in this extended abstract, we present a simple and generic proof of convergence for a family of Adam-style methods (including Adam, AMSGrad, Adabound, etc.). Our analysis only requires an increasing or large "momentum" parameter for the first-order moment, which is indeed the case used in practice, and a boundness condition on the adaptive factor of the step size, which applies to all variants of Adam under mild conditions of stochastic gradients. We also establish a variance diminishing result for the used stochastic gradient estimators. Indeed, our analysis of Adam is so simple and generic that it can be leveraged to establish the convergence for solving a broader family of non-convex optimization problems, including min-max, compositional, and bilevel optimization problems. For the full (earlier) version of this extended abstract, please refer to arXiv:2104.14840.

研究の動機と目的

• 非凸深層学習設定におけるAdamおよびその変種に対する厳密かつ実用的な収束保証の欠如に対処すること。
• 勾配更新や適応的ステップサイズの挙動に関する強いまたは不切実な仮定に依存する従来の解析の限界を克服すること。
• 複数のAdam風アルゴリズムを、単一で簡潔な枠組みの下で統一的に収束解析すること。
• これらの手法で用いられる確率的勾配推定器が分散低減を示す条件を確立すること。
• 収束結果の適用範囲を標準的な最小化問題から、ミニマックス問題やバイレベル問題などのより広い最適化問題クラスへ拡張すること。

提案手法

• モーメンタムパラメータが増加または十分に大きいという条件を満たす、実用的によく満たされる新しい収束証明フレームワークを提案する。
• ステップサイズの適応的要因に対して有界性条件を導入し、弱い確率的勾配仮定のもとで、すべての主要なAdam変種で成立することを示す。
• アルゴリズムで用いられる確率的勾配推定器の分散低減性を活用し、収束の安定性を保証する。
• 非凸最適化問題の広いクラス（ミニマックスやコンポジショナル最適化を含む）にこの解析を適用する。
• アルゴリズム固有の導出を必要とせず、複数のアルゴリズム（例：Adam、AMSGrad、Adabound）を統一的な数学的構造で解析する。
• 先行理論的研究で見られる制限的な条件を避ける最小限の仮定のもとで収束を確立する。

実験結果

リサーチクエスチョン

• RQ1 Adam系アルゴリズムのための包括的で簡潔な収束解析を、元のAdam最適化子を超えて構築できるか？
• RQ2 非凸設定での収束を保証するために、モーメンタムおよび適応的ステップサイズに必要な最小限の仮定は何か？
• RQ3 実用的な収束を支援するために、確率的勾配推定器の分散をどのように制御できるか？
• RQ4 提案された解析を、標準的な最小化問題を超えて、ミニマックスやバイレベル最適化のような非凸問題へ拡張できるか？
• RQ5 なぜ既存の理論的解析は実際の訓練で収束を保証できないのか？そして、その問題をどのように是正できるか？

主な発見

• 提案された収束解析は、Adam、AMSGrad、Adabound、およびその他の変種を、弱く実用的な仮定のもとで一般に適用可能である。
• モーメンタムパラメータが十分に大きくまたは増加する場合、収束が保証される。これは、実際の訓練設定で一般的に満たされる条件である。
• 弱い勾配の確率的仮定のもとで、適応的ステップサイズ要因は有界のままであり、更新プロセスの安定性を保証する。
• この手法で用いられる確率的勾配推定器は、分散低減性を示す。これは収束を支援する。
• この解析フレームワークは、ミニマックスやバイレベル最適化のような非凸問題へも拡張可能である。
• 先行の解析よりも理論的結果が単純かつ実用的であり、現実世界への適用性を制限する過度に制限的な仮定を避ける。