[論文レビュー] Adam: A Method for Stochastic Optimization

Diederik P. Kingma, Jimmy Ba|UvA-DARE (University of Amsterdam)|Dec 22, 2014

Stochastic Gradient Optimization Techniques参考文献 20被引用数 84,466

ひとこと要約

Adamは勾配ベースの確率的最適化アルゴリズムで、偏差補正された一階モーメントおよび二階モーメントの推定を用いてパラメータごとに学習率を適応させ、大規模でスパースかつ非定常な目的関数に対して頑健な性能を提供し、理論的な収束保証を持つ。

ABSTRACT

We introduce Adam, an algorithm for first-order gradient-based optimization of stochastic objective functions, based on adaptive estimates of lower-order moments. The method is straightforward to implement, is computationally efficient, has little memory requirements, is invariant to diagonal rescaling of the gradients, and is well suited for problems that are large in terms of data and/or parameters. The method is also appropriate for non-stationary objectives and problems with very noisy and/or sparse gradients. The hyper-parameters have intuitive interpretations and typically require little tuning. Some connections to related algorithms, on which Adam was inspired, are discussed. We also analyze the theoretical convergence properties of the algorithm and provide a regret bound on the convergence rate that is comparable to the best known results under the online convex optimization framework. Empirical results demonstrate that Adam works well in practice and compares favorably to other stochastic optimization methods. Finally, we discuss AdaMax, a variant of Adam based on the infinity norm.

研究の動機と目的

• 高次元パラメータを持つ確率的目的関数に対して、効率的な1階導関数（ファーストオーダー）最適化アルゴリズムを提供する。
• AdaGradの利点（スパース勾配）とRMSPropの利点（非定常な目的関数）を1つの手法に統合する。
• 初期反復を安定化させるために偏差補正されたモーメント推定を導入する。
• オンライン凸最適化における収束性を分析し、MLモデルでの実用的な有効性を実証する。

提案手法

• 勾配の1次モーメント(m_t)および2次モーメント(v_t)を、β1とβ2の割合で指数減衰させながら逐次推定を維持する。
• 初期化を0で行った補償のため、バイアス補正済みの推定量（b_m_tと b_v_t）を計算する。
• パラメータを theta_t = theta_{t-1} - alpha * b_m_t / (sqrt(b_v_t) + epsilon) で更新する。
• 無限ノルムベースのAdaMax 変種を提供し、時間平均化などの拡張を議論する。
• 有効なステップサイズが有界であり、ほぼalphaにより制御されることを示し、自動アニーリングの一形態を提供する。
• オンライン凸最適化の文脈で理論的収束保証（O(sqrt(T))のレグレット）を提供する。

実験結果

リサーチクエスチョン

• RQ1 勾配統計に基づいてパラメータごとに学習率を適応させる確率的最適化アルゴリズムをどのように設計できるか。
• RQ2 オンライン凸最適化におけるAdamの理論的保証（レグレットの境界）は何か。
• RQ3 様々なMLモデルとデータセットに対して、AdamがAdaGrad、RMSPropおよび関連手法と経験的にどのように比較されるか。
• RQ4 偏差補正項が安定性と収束に及ぼす影響、特にスパースな勾配に対してはどうか。
• RQ5 AdaMaxや時間平均化といった拡張は実践的に性能を向上させることができるか。

主な発見

• Adamはロジスティック回帰、多層ネットワーク、CNNにおいて、他の1階手法と比較して一貫して性能を向上させるか、同等の性能を示す。
• このアルゴリズムはスパース勾配と非定常な目的関数をうまく扱い、しばしば AdaGrad および RMSProp に匹敵または上回る。
• 偏差補正項は安定性の面で重要であり、特に高いスパース性や大きな初期ステップサイズのときに顕著。
• Adamはパラメータごとの学習率適応により堅牢でスケーラブルな最適化を実現し、しばしばモーメンタム付きSGDや他のベンチマークよりも速い。
• 理論解析は O(sqrt(T)) レグレットの境界をもたらし、オンライン凸最適化で知られる中で最良の結果と同等。
• AdaMax は無限大ノルムに基づく安定した更新を提供する代替バリアントである。