[論文レビュー] On the Convergence of A Class of Adam-Type Algorithms for Non-Convex Optimization

Xiangyi Chen, Sijia Liu+2 more|arXiv (Cornell University)|Aug 8, 2018

Stochastic Gradient Optimization Techniques被引用数 117

ひとこと要約

本論文は、非凸最適化における Adam 型適応勾配法の統一的収束枠組みを提供し、これらの手法が stationary points に収束する条件を O(log T / sqrt(T)) の収束率で確立する。AdaFom を導入し、AMSGrad や AdaFom の一定モーメントバリアントを分析する。

ABSTRACT

This paper studies a class of adaptive gradient based momentum algorithms that update the search directions and learning rates simultaneously using past gradients. This class, which we refer to as the "Adam-type", includes the popular algorithms such as the Adam, AMSGrad and AdaGrad. Despite their popularity in training deep neural networks, the convergence of these algorithms for solving nonconvex problems remains an open question. This paper provides a set of mild sufficient conditions that guarantee the convergence for the Adam-type methods. We prove that under our derived conditions, these methods can achieve the convergence rate of order $O(\\log{T}/\\sqrt{T})$ for nonconvex stochastic optimization. We show the conditions are essential in the sense that violating them may make the algorithm diverge. Moreover, we propose and analyze a class of (deterministic) incremental adaptive gradient algorithms, which has the same $O(\\log{T}/\\sqrt{T})$ convergence rate. Our study could also be extended to a broader class of adaptive gradient methods in machine learning and optimization.

研究の動機と目的

• 非凸最適化のための適応勾配法の研究動機づけと収束保証の理解。
• Adam、AMSGrad、AdaGrad、AdaFom、SGD 系の変種を包含する一般的な Ada-型アルゴリズム枠組みを開発する。
• ステップサイズとモーメントパラメータに関する穏やかで実用的な条件を導出し、サブ線形レートで stationary points へ収束させる。
• AdaFom（First Order Momentum を用いた AdaGrad）を導入し、その収束特性を示す。
• 条件の鋭さを、破られた場合に潜在的な発散を示すことで明らかにする。
• 定常モーメント設定や有限和問題への適用性を実証する。

提案手法

• m_t = β1,t m_{t-1} + (1−β1,t) g_t および適応的 〈hat{v}〉_t = h_t(g_1,...,g_t) を用いる一般化された Adam-type 更新を提案する。
• 有効なステップサイズを α_t / sqrt(〈hat{v}〉_t) と定義し、それが収束に及ぼす振動の影響を分析する。
• 勾配内積の和に対する主定理を確立し、それを A 項と B 項（Term A と Term B）に関連づける。
• E[min_{t∈[T]} ||∇f(x_t)||^2] = O(s1(T)/s2(T)) という収束速度を導出し、s1(T) = o(s2(T)) を満たす。
• α_t = 1/√t という設定で AMSGrad と AdaFom の系を導くことで、対数項を含むサブ線形レートを示すコロラリを提示する。
• AdaFom によって第一モーメントだけにモーメントを追加することで、AdaGrad 的な発散傾向を修正することを議論する。

実験結果

リサーチクエスチョン

• RQ1 Adam型アルゴリズムが非凸設定で一階的 stationary points に収束するための穏やかなステップサイズとモーメントパラメータの条件は何か。
• RQ2 有効なステップサイズの振動は AdaGrad/Adam-type 手法の収束とレートにどのような影響を与えるか。
• RQ3 AdaFom や定常モーメントを用いる AMSGrad は収束を達成できるのか、またそのレートはどうなるか。
• RQ4 実務者が Adam-type 手法の収束を検証・進捗を監視するための実用的基準は何か。
• RQ5 理論枠組みの Term A または Term B のどちらが実際の収束不能性を引き起こすのか。

主な発見

• 穏やかな仮定の下で一般的な Adam-type 収束枠組みが確立され、O(log T / sqrt(T)) の収束レートを得る。
• AdaFom は標準仮定の下で収束することが示される一方、素の Adam は特定の条件下で発散しうる。
• 定常モーメントを持つ AMSGrad も非凸設定で収束することが示され、Adam との挙動の違いを明確にする。
• 分析は 두つの臨界要素を特定する：Term A（勾配の大きさの蓄積）と Term B（有効ステップサイズの振動）。これらが収束を支配し、実践的な性能差を説明できる。
• コロラリは AMSGrad および AdaFom が α_t = 1/√t でサブ線形レートを達成し、対数 T の因子を除けば既知のレートに一致する。
• 提供された条件は厳密で、実世界のトレーニングにおける収束の監視に実用的なツールを提供する。