[論文レビュー] Adam$^+$: A Stochastic Method with Adaptive Variance Reduction

Mingrui Liu, Wei Zhang+2 more|arXiv (Cornell University)|Nov 24, 2020

Stochastic Gradient Optimization Techniques参考文献 38被引用数 12

ひとこと要約

Adam+ は、Adam の適応的第二モーメント推定をノルムに基づく適応的ステップサイズに置き換え、前方予測された点における一次モーメントの移動平均を計算する、新しい確率的最適化手法である。この設計により、適応的分散低減を伴う理論的収束性が保証され、深層学習のベンチマークで Adam より優れた性能を発揮するとともに、最小限のハイパーパrameterチューニングで、最適化された SGD と同等の性能を達成する。

ABSTRACT

Adam is a widely used stochastic optimization method for deep learning applications. While practitioners prefer Adam because it requires less parameter tuning, its use is problematic from a theoretical point of view since it may not converge. Variants of Adam have been proposed with provable convergence guarantee, but they tend not be competitive with Adam on the practical performance. In this paper, we propose a new method named Adam$^+$ (pronounced as Adam-plus). Adam$^+$ retains some of the key components of Adam but it also has several noticeable differences: (i) it does not maintain the moving average of second moment estimate but instead computes the moving average of first moment estimate at extrapolated points; (ii) its adaptive step size is formed not by dividing the square root of second moment estimate but instead by dividing the root of the norm of first moment estimate. As a result, Adam$^+$ requires few parameter tuning, as Adam, but it enjoys a provable convergence guarantee. Our analysis further shows that Adam$^+$ enjoys adaptive variance reduction, i.e., the variance of the stochastic gradient estimator reduces as the algorithm converges, hence enjoying an adaptive convergence. We also propose a more general variant of Adam$^+$ with different adaptive step sizes and establish their fast convergence rate. Our empirical studies on various deep learning tasks, including image classification, language modeling, and automatic speech recognition, demonstrate that Adam$^+$ significantly outperforms Adam and achieves comparable performance with best-tuned SGD and momentum SGD.

研究の動機と目的

• Adam が深層学習で実証的に成功を収めているにもかかわらず、理論的収束保証が欠如しているという問題に取り組む。
• Adam の低チューニング特性を維持しつつ、理論的収束性と改善された一般化性能を達成する手法を設計する。
• 大規模なミニバッチや再帰的勾配計算に依存せずに、適応的分散低減を実現する。
• 標準的な非凸スムーズ性仮定の下で、最先端の手法と同等の高速収束レートを確立する。

提案手法

• Adam+ は、標準的な第二モーメント推定の平方根に基づく適応的ステップサイズを、一次モーメント推定のノルムの平方根で割るステップサイズに置き換える。
• 現在の反復点ではなく、前方予測された点における一次モーメント推定の移動平均を計算することで、安定性と収束性が向上する。
• 第二モーメントの移動平均を維持しないため、更新が簡素化され、分散が低減される。
• 異なる適応的ステップサイズを用いる、Adam+ の一般化されたバージョンが提案され、同じ仮定の下でより高速な収束レートを達成できる。
• 理論的分析により、最適化が進行するに従い、確率的勾配推定器の分散が減少することが示され、適応的収束が可能になる。
• 標準的な非凸スムーズ性および勾配有界性仮定の下で分析され、ϵ-停留点への収束が確立されている。

実験結果

リサーチクエスチョン

• RQ1 確率的最適化手法は、Adam の低チューニング利点と理論的収束保証を併せ持てるか？
• RQ2 大規模なミニバッチや再帰的勾配計算に依存せずに、適応的分散低減が適応的勾配法で自然に発生するか？
• RQ3 勾配のスパarsity に依存せずに、非凸設定で SGD よりも高速な収束を達成できるか？
• RQ4 一次モーメント推定における前方予測点の使用が、深層学習における収束性と一般化性能に与える影響は何か？
• RQ5 Adam+ の変種は、標準仮定の下で最先端の収束レートを達成できるか？

主な発見

• Adam+ は、標準仮定の下で、最高の既知のレートと同等の反復複雑度で、ϵ-停留点への理論的収束を達成する。
• アルゴリズムは適応的分散低減を示し、最適化が進行するに従い、確率的勾配推定器の分散が減少し、後段階での収束が速くなる。
• 実験的評価では、画像分類、言語モデリング、音声認識のタスクにおいて、Adam よりも著しく優れた性能を示す。
• 最小限のハイパーパrameterチューニングで、最適化された SGD やモーメンタム付き SGD と同等の性能を達成する。
• Adam+ の一般化されたバージョンは、同じ条件下で最先端の収束レートを達成する。
• 理論的分析により、一次モーメント推定のノルムに基づく適応的ステップサイズが、第二モーメント推定に依存せずに、収束性の向上をもたらすことが確認された。