[論文レビュー] On the Convergence of Adam and Beyond

Sashank J. Reddi, Satyen Kale+1 more|arXiv (Cornell University)|Apr 19, 2019

Theology and Philosophy of Evil被引用数 1,613

ひとこと要約

本論文は、Adam や類似の指数移動平均法が短期的な記憶のために収束しない可能性があることを示し、凸性の反例を提供し、収束保証を持つ AMSGrad 変種を提案する。

ABSTRACT

Several recently proposed stochastic optimization methods that have been successfully used in training deep networks such as RMSProp, Adam, Adadelta, Nadam are based on using gradient updates scaled by square roots of exponential moving averages of squared past gradients. In many applications, e.g. learning with large output spaces, it has been empirically observed that these algorithms fail to converge to an optimal solution (or a critical point in nonconvex settings). We show that one cause for such failures is the exponential moving average used in the algorithms. We provide an explicit example of a simple convex optimization setting where Adam does not converge to the optimal solution, and describe the precise problems with the previous analysis of Adam algorithm. Our analysis suggests that the convergence issues can be fixed by endowing such algorithms with `long-term memory' of past gradients, and propose new variants of the Adam algorithm which not only fix the convergence issues but often also lead to improved empirical performance.

研究の動機と目的

• 動機: 深層ネットワークの訓練において Adam 系の適応法で観測される非収束に対処する。
• 目的: 指数移動平均に関連する収束故障の原因を特定する。
• 狙い: 過去の勾配の長期記憶を持つアルゴリズムを提案し、凸な設定での収束を保証する。

提案手法

• フレームワークはオンライン凸最適化と確率的ERMを結びつけ、適応法を研究する。
• 指数移動平均 (Adam/RMSprop) が Gamma_t 指標を介して非収束を引き起こす可能性を分析する。
• Adam が平均リグレットをゼロ以外に持ち得ることを示す凸の反例の構築。
• 学習率を非増加に保つために v_t の走行最大を維持する AMSGrad の提案。
• 凸性と勾配の有界仮定のもとでのAMSGradの収束解析。
• 合成データと標準的な機械学習タスクでの実証評価を通じて性能差を示す。

実験結果

リサーチクエスチョン

• RQ1 単純な凸設定において Adam と RMSprop は最適解へ収束するか。
• RQ2 指数移動平均は適応法の収束にどのような影響を及ぼすか。
• RQ3 実用的な性能を維持しつつ AMSGrad のような変種が収束を保証できるか。
• RQ4 凸設定における AMSGrad の理論的リグレット境界は Adam と比較してどうか。
• RQ5 標準的なMLタスクにおける実証結果は理論的成果と一致するか。

主な発見

• Adam はオンライン凸最適化設定で平均リグレットがゼロでなくなることがある。
• beta1, beta2 が一定で beta1 < sqrt(beta2) である限り、Adam は凸問題で亜最適点に収束することがある。
• AMSGrad による長期記憶機構の導入は学習率を非増加にし、収束保証をもたらす。
• AMSGrad は特定のデータ領域で O(sqrt(dT)) よりも良いリグレット境界を提供する。
• 実証結果は MNIST ロジスティック回帰と CIFAR-10 CNN において、収束性と堅牢性の点でAMSGradがAdamを上回ることを示す。