[論文レビュー] AdaBelief Optimizer: Adapting Stepsizes by the Belief in Observed Gradients

Juntang Zhuang, Tommy Tang+5 more|arXiv (Cornell University)|Oct 15, 2020

Generative Adversarial Networks and Image Synthesis参考文献 60被引用数 121

ひとこと要約

AdaBeliefは観測勾配への信念を用いて学習率を適応させ、適応法のような速い収束、SGDのような良い汎化、GANでの安定性を実現し、追加のハイパーパラメータを必要としない。

ABSTRACT

Most popular optimizers for deep learning can be broadly categorized as adaptive methods (e.g. Adam) and accelerated schemes (e.g. stochastic gradient descent (SGD) with momentum). For many models such as convolutional neural networks (CNNs), adaptive methods typically converge faster but generalize worse compared to SGD; for complex settings such as generative adversarial networks (GANs), adaptive methods are typically the default because of their stability.We propose AdaBelief to simultaneously achieve three goals: fast convergence as in adaptive methods, good generalization as in SGD, and training stability. The intuition for AdaBelief is to adapt the stepsize according to the "belief" in the current gradient direction. Viewing the exponential moving average (EMA) of the noisy gradient as the prediction of the gradient at the next time step, if the observed gradient greatly deviates from the prediction, we distrust the current observation and take a small step; if the observed gradient is close to the prediction, we trust it and take a large step. We validate AdaBelief in extensive experiments, showing that it outperforms other methods with fast convergence and high accuracy on image classification and language modeling. Specifically, on ImageNet, AdaBelief achieves comparable accuracy to SGD. Furthermore, in the training of a GAN on Cifar10, AdaBelief demonstrates high stability and improves the quality of generated samples compared to a well-tuned Adam optimizer. Code is available at https://github.com/juntang-zhuang/Adabelief-Optimizer

研究の動機と目的

• 適応的手法の速い収束と、難易度の高いモデル（例：GANs）のようなSGDに似た汎化と安定性を組み合わせる動機付け。
• 勾配予測と観測に対する信念を用いてステップサイズを調整する、Adamの単純な修正としての AdaBelief を導入する。
• 凸・非凸設定の理論的収束保証を提供する。
• 画像分類、言語モデリング、GAN にまたがる AdaBelief の経験的検証を行い、性能向上を示す。

提案手法

• AdaBelief を、Adam の分母 sqrt(v_t) を sqrt(s_t) に置換して定義する。ここで s_t は (g_t - m_t)^2 の指数移動平均(EMA) であり、m_t は勾配の EMA である。
• 1/sqrt(s_t) を、予測 m_t に対する現在の勾配観察の『信念』として解釈する。
• 採用を容易にするために、Adam と同じハイパーパラメータと構造を維持する。実践では m_t と s_t に対する標準的なバイアス補正を含める。
• 凸および非凸の確率的最適化についての理論的収束解析を提供する（定理 2.1 および 定理 2.2 とその系補題）。
• CIFAR/ImageNet で画像分類、Penn TreeBank で言語モデリング、GANs（WGAN/WGAN-GP）で生成品質と安定性を実証的に検証する。

実験結果

リサーチクエスチョン

• RQ1 実践的には、AdaBelief は Adam の速い収束を保ちつつ、汎化と安定性を改善できるか？
• RQ2 追加のハイパーパラメータなしで、AdaBelief は GAN 訓練において SGD に似た汎化と安定性を実現できるか？
• RQ3 凸および非凸設定における AdaBelief の収束保証は何か？
• RQ4 大規模データセット（ImageNet）およびタスク（視覚、言語、生成モデル）全般で、Adam および SGD ベースの手法と比較して AdaBelief の性能はどうか？

主な発見

• AdaBelief は CIFAR、ImageNet、言語モデリングのタスク全般で、Adam に匹敵する速い収束と SGD に匹敵する汎化を達成する。
• GAN 訓練では、適切に調整された Adam ベースラインに対して、サンプル品質と訓練の安定性を改善する（WGAN/WGAN-GP で FID がより低くなる）。
• ImageNet では、AdaBelief はデカップルド・ウェイト・デケイを伴う SGD に匹敵する top-1 精度を達成し、いくつかの適応法に見られる汎化ギャップを縮小する。
• 理論的結果は、AdaBelief が凸設定で O(sqrt(T)) レグレット、非凸確率的最適化で O(log T / sqrt(T)) 収束を持つことを、標準仮定の下で示す。
• 実証結果には、CIFARとImageNet での VGG/ResNet/DenseNet の強力な性能、Penn TreeBank での LSTM perplexity の改善、複数構成での GAN 指標（FID）の有利な結果が含まれる。