[論文レビュー] AdaShift: Decorrelation and Convergence of Adaptive Learning Rate Methods

Zhiming Zhou, Qingru Zhang+4 more|arXiv (Cornell University)|Sep 29, 2018

Stochastic Gradient Optimization Techniques参考文献 12被引用数 29

ひとこと要約

この論文は、勾配の時間的シフトを用いて2次モーメント推定値 $v_t$ を現在の勾配 $g_t$ から相関除去することで、Adamの収束不能問題を解決する新しい適応的学習率手法AdaShiftを提案する。$v_t$ を現在の勾配 $g_t$ ではなく遅延勾配 $g_{t-n}$ を用いて計算することにより、不偏なステップサイズを保証し、収束性を達成しながら、Adamと同等の学習速度と一般化性能を維持する。この有効性は、MNIST、CIFAR-10、Tiny-ImageNet、GAN、NMTモデルを含む多数の深層学習ベンチマークで検証された。

ABSTRACT

Adam is shown not being able to converge to the optimal solution in certain cases. Researchers recently propose several algorithms to avoid the issue of non-convergence of Adam, but their efficiency turns out to be unsatisfactory in practice. In this paper, we provide new insight into the non-convergence issue of Adam as well as other adaptive learning rate methods. We argue that there exists an inappropriate correlation between gradient $g_t$ and the second-moment term $v_t$ in Adam ($t$ is the timestep), which results in that a large gradient is likely to have small step size while a small gradient may have a large step size. We demonstrate that such biased step sizes are the fundamental cause of non-convergence of Adam, and we further prove that decorrelating $v_t$ and $g_t$ will lead to unbiased step size for each gradient, thus solving the non-convergence problem of Adam. Finally, we propose AdaShift, a novel adaptive learning rate method that decorrelates $v_t$ and $g_t$ by temporal shifting, i.e., using temporally shifted gradient $g_{t-n}$ to calculate $v_t$. The experiment results demonstrate that AdaShift is able to address the non-convergence issue of Adam, while still maintaining a competitive performance with Adam in terms of both training speed and generalization.

研究の動機と目的

• Adamやその他の適応的学習率手法における収束不能の根本的要因を特定すること。
• $v_t$ と $g_t$ の相関によるステップサイズの偏りが、収束不能の根本的要因であることを示すこと。
• $v_t$ と $g_t$ を相関除去することで、不偏で収束するステップサイズを達成する手法を提案すること。
• 学習効率と一般化性能を維持しながら収束性を保証する実用的な適応的最適化手法を設計すること。
• 提案手法を、フィードフォワードネットワーク、CNN、GAN、RNNを含む多様な深層学習タスクで検証すること。

提案手法

• 収束性を分析する新しい視点を導入：各勾配の累積ステップサイズ（ネット更新係数）に着目する。
• $v_t$ を現在の勾配 $g_t$ ではなく、時間的にシフトされた勾配 $g_{t-n}$ を用いて計算することで、$v_t$ と現在の勾配の相関を解消するAdaShiftを提案する。
• $v_t = \beta_2 v_{t-1} + (1 - \beta_2) g_{t-n}^2$ を定義し、$v_t$ と $g_t$ の直接的相関を断ち切る。
• $\theta_{t+1} = \theta_t - \frac{\alpha_t}{\sqrt{v_t}} m_t$ というAdamと同一の更新則を維持するが、相関のない $v_t$ を用いる。
• 層をまたいで $v_t$ に空間的処理（例：マックスプーリング）を適用することで安定性と一般化性能を向上させ、max-AdaShiftを導出する。
• 理論的に相関除去が不偏な期待ステップサイズをもたらし、やや緩い条件下でも収束を保証することを証明する。

実験結果

リサーチクエスチョン

• RQ1 Adamは広く使用されているが、特定の最適化問題ではなぜ収束しないのか？
• RQ2 Adamのような適応的学習率手法における収束不能の根本的要因は何か？
• RQ3 2次モーメント推定値 $v_t$ を現在の勾配 $g_t$ から相関除去することで、不偏なステップサイズと改善された収束性が達成できるか？
• RQ4 Adamの効率を維持しながら収束性を保証する実用的な適応的最適化手法を設計することは可能か？
• RQ5 提案手法は、AMSGrad や AdamNC と比較して、学習速度、一般化性能、収束性においてどのように異なるか？

主な発見

• AdaShiftは、時間的シフトを用いて $v_t$ と $g_t$ を相関除去することで、不偏なステップサイズと理論的収束性を実現し、Adamの収束不能問題を解決する。
• 多層パーセプトロンを用いたMNISTでは、AdaShift（特に非AdaShift）がAdamやAMSGradよりも優れた一般化性能を示し、やや強い学習損失の振動を示す。
• CIFAR-10 でResNetとDenseNetを用いた実験では、AdaShiftはテスト精度と学習損失においてAdamと同等またはわずかに優れており、AMSGradは劣る性能を示した。
• DenseNetを用いたTiny-ImageNetでは、AdaShiftがAdamよりも高いテスト精度を達成したが、学習損失曲線は類似していた。
• WGAN-GPの訓練では、AdaShiftがAdamおよびAMSGradを大きく上回るディスクラミネーター性能を示した。
• ニューラル機械翻訳（NMT）では、AdaShiftがBLEUスコアで最も高く、AdamおよびAMSGradを上回った。