[論文レビュー] AdaSGD: Bridging the gap between SGD and Adam

Jiaxuan Wang, Jenna Wiens|arXiv (Cornell University)|Jun 30, 2020

Stochastic Gradient Optimization Techniques参考文献 34被引用数 5

ひとこと要約

AdaSGD は SGD に単一のグローバル学習率を適応的に調整する簡単な修正を加えることで、Adam の収束速度と SGD の汎化性能を組み合わせた。実験的に、移行スケジュールや追加のハイパーパramータを必要とせずに、複数のデータセットおよびアーキテクチャにおいて Adam と SGD の性能差を埋め合わせた。

ABSTRACT

In the context of stochastic gradient descent(SGD) and adaptive moment estimation (Adam),researchers have recently proposed optimization techniques that transition from Adam to SGD with the goal of improving both convergence and generalization performance. However, precisely how each approach trades off early progress and generalization is not well understood; thus, it is unclear when or even if, one should transition from one approach to the other. In this work, by first studying the convex setting, we identify potential contributors to observed differences in performance between SGD and Adam. In particular,we provide theoretical insights for when and why Adam outperforms SGD and vice versa. We ad-dress the performance gap by adapting a single global learning rate for SGD, which we refer to as AdaSGD. We justify this proposed approach with empirical analyses in non-convex settings. On several datasets that span three different domains,we demonstrate how AdaSGD combines the benefits of both SGD and Adam, eliminating the need for approaches that transition from Adam to SGD.

研究の動機と目的

• Adam が一部の設定で SGD より優れる理由、逆に SGD が優れる理由を、特に初期収束速度と汎化性能の観点から理解すること。
• 観察された性能差を踏まえ、Adam から SGD への移行手法が本当に必要かどうかを調査すること。
• 複雑なスケジュール変更を必要とせずに、Adam と SGD の長所を統合する最適化アプローチを開発すること。
• 単一の適応的グローバル学習率を SGD に導入することで、非凸な深層学習設定において Adam と同等の性能を達成できることを示すこと。

提案手法

• Adam の適応的メカニズムを参考にしたが、パラメータごとではなくグローバルに適用する、SGD の変種 AdaSGD を提案。これは勾配統計に基づいてグローバル学習率を適応的にスケーリングする。
• 凸二次設定における理論的分析を通じて、Adam が SGD より優れる場合と逆に SGD が優れる場合を、学習率への感受性と暗黙の正則化の観点から特定する。
• 画像分類（CIFAR-10）、言語モデリング（WikiText-2）、医療予測（MIMIC-3）の3分野における深層ニューラルネットワークに AdaSGD を適用する。
• グリッドサーチと学習率の減衰を伴う固定スケジュールを用いて、AdaSGD を SGD、Adam、および移行手法（例：AdaBound、Swats）と比較する。
• バリデーション性能を用いてハイパーパramータを調整し、標準指標（正確度、AUC、Perplexity）を用いてテストセットで評価する。
• 実装には PyTorch を使用し、補足資料に匿名化されたコードを含める。

実験結果

リサーチクエスチョン

• RQ1 どのような設定で Adam が SGD より優れるのか、特に学習率への感受性と汎化性能の観点から、その理由は何か。
• RQ2 単純な修正、具体的には SGD における適応的グローバル学習率スケーリングによって、Adam と SGD の性能差を移行スケジュールを必要とせずに埋め合わせられるか。
• RQ3 AdaBound や Swats といった既存の移行手法と比較して、AdaSGD は多様な深層学習タスクにおいて、どれほど頑健で、性能に優れているか。
• RQ4 Adam が学習率選択に対して頑健であるのは、パラメータごとの適応によるものなのか、それともグローバル学習率の適応のみで再現可能なのか。

主な発見

• AdaSGD は CIFAR-10、WikiText-2、MIMIC-3 において Adam と同等の性能を達成し、移行スケジュールを必要とせずに Adam と SGD の性能差を埋め合わせた。
• グリッドサーチによるハイパーパラメータチューニングでは、AdaSGD と Adam はすべての3つのデータセットで類似した性能を示したが、SGD は学習率選択に対して非常に感受性が高かった。
• 固定学習率と減衰を用いた場合、SGD の性能はチューニング済みバージョンと比較して著しく低下した一方、AdaSGD はチューニングによる改善が最小限に抑えられ、頑健性が示された。
• AdaBound や Swats といった移行手法は、常に Adam や AdaSGD を上回る性能を示さず、特に WikiText-2 では AdaBound は性能が低く、ハイパーパラメータに感受性が高かった。
• 結果から、Adam の頑健性はパラメータごとの適応そのものに起因するのではなく、SGD におけるグローバル学習率の適応によって再現可能であると考えられる。
• Tiny ImageNet、100層の DenseNet を用いた CIFAR-100、および変分オートエンコーダーを用いた MNIST における広範な実験により、AdaSGD が多様なアーキテクチャとタスクにわたって良好に一般化することを確認した。