[論文レビュー] Adaptive Gradient Methods with Dynamic Bound of Learning Rate

Liangchen Luo, Yuanhao Xiong+2 more|arXiv (Cornell University)|Feb 26, 2019

Stochastic Gradient Optimization Techniques被引用数 189

ひとこと要約

本稿は AdaBound および AMSBound を導入する。これらは Adam/AMSGrad の動的境界バリアントで、初期には適応的最適化を行い、徐々に SGD へ移行する。収束保証とタスク全体での一般化能力の向上を特徴とする。

ABSTRACT

Adaptive optimization methods such as AdaGrad, RMSprop and Adam have been proposed to achieve a rapid training process with an element-wise scaling term on learning rates. Though prevailing, they are observed to generalize poorly compared with SGD or even fail to converge due to unstable and extreme learning rates. Recent work has put forward some algorithms such as AMSGrad to tackle this issue but they failed to achieve considerable improvement over existing methods. In our paper, we demonstrate that extreme learning rates can lead to poor performance. We provide new variants of Adam and AMSGrad, called AdaBound and AMSBound respectively, which employ dynamic bounds on learning rates to achieve a gradual and smooth transition from adaptive methods to SGD and give a theoretical proof of convergence. We further conduct experiments on various popular tasks and models, which is often insufficient in previous work. Experimental results show that new variants can eliminate the generalization gap between adaptive methods and SGD and maintain higher learning speed early in training at the same time. Moreover, they can bring significant improvement over their prototypes, especially on complex deep networks. The implementation of the algorithm can be found at https://github.com/Luolc/AdaBound .

研究の動機と目的

• Adam/AMSGrad のような適応的最適化手法が一般化と収束性で抱える限界を動機づける。
• 時間経過とともに適応的挙動から SGD へと移行する学習率境界メカニズムを提案する。
• 新手法の凸設定での理論的収束保証を提供する。
• さまざまなアーキテクチャにわたるコンピュータビジョンおよび自然言語処理タスクで実証的な利点を示す。

提案手法

• AdaBound を、最終的なステップサイズに収束する時間発展する下限・上限で各パラメータの学習率をクリップすることで定式化する。
• eta_l(t) および eta_u(t) を定義して、Adam/AMSGrad から SGD(M) への徐々の変換を作る。
• 凸性の仮定の下で AdaBound (および AMSBound) の regrets bounds と収束性を証明する。
• MNIST, CIFAR-10, Penn Treebank に対する実験を通じて AdaBound/AMSBound を Sgd(M), AdaGrad, Adam, AMSGrad と比較する。
• 実装の詳細とハイパーパラメータの選択と境界スケジュールについて議論する。

実験結果

リサーチクエスチョン

• RQ1 動的境界を持つ学習率スケジュールは、適応的最適化手法における極端な更新を抑え、一般化を改善できるか。
• RQ2 AdaBound および AMSBound は、SGD に似た一般化を達成しつつ、初期収束を速いまま維持できるか。
• RQ3 凸設定におけるこれらの境界ベースの適応法の理論的保証（収束/ regrets）とは何か。
• RQ4 提案手法は、視覚と言語処理の多様なアーキテクチャとタスクで、ベースライン最適化手法と比較してどのように性能を発揮するか。
• RQ5 広範なハイパーパラメータ調整を要さずにうまく機能する実用的で調整可能な境界スケジュールはあるか。

主な発見

• AdaBound/AMSBound は適応的手法に似た速い初期学習を達成し、SGD/M に匹敵する、あるいはそれを上回る強力な一般化で収束する。
• 動的境界は適応的挙動から SGD への滑らかな遷移を保証し、極端な学習率による問題を緩和する。
• 理論分析は regrets bounds O(sqrt(T)) と convexity 下の収束保証を提供する。
• MNIST, CIFAR-10, Penn Treebank での実験は、Adam/AMSGrad よりもテスト精度と perplexity が向上し、 SGD(M) と競合する結果を示す。
• 複雑なモデル（DenseNet, ResNet, multi-layer LSTM）はより大きな利得を示し、深いアーキテクチャでの利点を強調する。