[論文レビュー] AdaBelief Optimizer: Adapting Stepsizes by the Belief in Observed Gradients

Juntang Zhuang, Tommy Tang+5 more|arXiv (Cornell University)|Oct 14, 2020

Generative Adversarial Networks and Image Synthesis被引用数 219

ひとこと要約

AdaBelief は観測された勾配に対する“信念”を測定することでパラメータごとの学習率を適応させ、急速な収束、良好な汎化、トレーニングの安定性を実現する。

ABSTRACT

Most popular optimizers for deep learning can be broadly categorized as adaptive methods (e.g. Adam) and accelerated schemes (e.g. stochastic gradient descent (SGD) with momentum). For many models such as convolutional neural networks (CNNs), adaptive methods typically converge faster but generalize worse compared to SGD; for complex settings such as generative adversarial networks (GANs), adaptive methods are typically the default because of their stability.We propose AdaBelief to simultaneously achieve three goals: fast convergence as in adaptive methods, good generalization as in SGD, and training stability. The intuition for AdaBelief is to adapt the stepsize according to the "belief" in the current gradient direction. Viewing the exponential moving average (EMA) of the noisy gradient as the prediction of the gradient at the next time step, if the observed gradient greatly deviates from the prediction, we distrust the current observation and take a small step; if the observed gradient is close to the prediction, we trust it and take a large step. We validate AdaBelief in extensive experiments, showing that it outperforms other methods with fast convergence and high accuracy on image classification and language modeling. Specifically, on ImageNet, AdaBelief achieves comparable accuracy to SGD. Furthermore, in the training of a GAN on Cifar10, AdaBelief demonstrates high stability and improves the quality of generated samples compared to a well-tuned Adam optimizer. Code is available at https://github.com/juntang-zhuang/Adabelief-Optimizer

研究の動機と目的

• GANのような難しい設定において適応的手法の高速な収束と良好な汎化・安定性を組み合わせる動機付け。
• 勾配予測誤差を用いて学習率を調整するAdam由来の最適化手法としてAdaBeliefを提案する。
• 凸および非凸領域における理論的収束解析を提供する。
• 画像分類、言語モデリング、GANにおいてAdaBeliefを実証的に検証し、性能と安定性の向上を示す。

提案手法

• AdaBelief を、更新が m_t / sqrt(s_t) を用い、m_t / sqrt(v_t) ではない Adam の修正として定義する。
• ここで m_t は勾配の EMA、v_t は g_t^2 の EMA、s_t は (g_t - m_t)^2 の EMA である。
• m_t と s_t のバイアス補正を行い、補正後の s_t の平方根（加えて epsilon）を用いて凸集合への投影を伴うパラメータ更新を行う。
• 1/sqrt(s_t) を現在の勾配観測に対する「信念」と解釈し、観測が予測と一致すると学習率を上げ、逸脱すると学習率を下げる。
• AdaBelief が曲率情報を捉え、勾配符号と大きさで更新を区別する直感と視覚的例を示す。
• 凸・非凸の確率的最適化の両方の収束解析を提供する。

実験結果

リサーチクエスチョン

• RQ1 AdaBelief は適応法の高速な収束を維持しつつ、SGDに類似した汎化を改善できるか。
• RQ2 AdaBelief はGANなどの難易度の高い設定でトレーニングの安定性を提供しつつ、競争力のある精度を維持できるか。
• RQ3 凸および非凸最適化において、理論的にも実証的にも AdaBelief の性能はどうか。
• RQ4 画像分類や言語モデリングのような実世界のタスクで、信念ベースのスケーリングを用いることでどんな実用的な利点が生じるか。

主な発見

• AdaBelief は画像分類タスクで Adam に匹敵する高速収束と SGD に類似した汎化を達成する。
• CIFAR-10 の GAN 訓練で、小規模・大規模ジェネレータの双方で Adam より良いトレーニング安定性とサンプル品質を示す。
• ImageNet では Adam風のデフォルトを用いると SGD に匹敵する精度を達成し、いくつかの適応法で見られる汎化ギャップを縮小する。
• 言語モデリング全般で、AdaBelief は競合最適化手法よりも困惑度（パープレキシティ）を改善する。
• GAN ベンチマーク（WGAN、WGAN-GP）全体で、AdaBelief はいくつかのベースラインより低い FID スコアを達成し、画像の忠実度と多様性の向上を示す。