[論文レビュー] YellowFin and the Art of Momentum Tuning

Jian Zhang, Ioannis Mitliagkas|arXiv (Cornell University)|Jun 12, 2017

Teaching and Learning Programming参考文献 25被引用数 63

ひとこと要約

本論文は、学習率とモーメンタムを同時に調整する momentum SGD の自動チューナー YellowFin を提案し、Adam より高速な収束と、同期・非同期設定の両方での実装上の頑健性を実現する。

ABSTRACT

Hyperparameter tuning is one of the most time-consuming workloads in deep learning. State-of-the-art optimizers, such as AdaGrad, RMSProp and Adam, reduce this labor by adaptively tuning an individual learning rate for each variable. Recently researchers have shown renewed interest in simpler methods like momentum SGD as they may yield better test metrics. Motivated by this trend, we ask: can simple adaptive methods based on SGD perform as well or better? We revisit the momentum SGD algorithm and show that hand-tuning a single learning rate and momentum makes it competitive with Adam. We then analyze its robustness to learning rate misspecification and objective curvature variation. Based on these insights, we design YellowFin, an automatic tuner for momentum and learning rate in SGD. YellowFin optionally uses a negative-feedback loop to compensate for the momentum dynamics in asynchronous settings on the fly. We empirically show that YellowFin can converge in fewer iterations than Adam on ResNets and LSTMs for image recognition, language modeling and constituency parsing, with a speedup of up to 3.28x in synchronous and up to 2.69x in asynchronous settings.

研究の動機と目的

• モーメントベースの SGD を再検討して深層学習におけるハイパーパラメータ調整作業量の削減を動機づける。
• 学習率の誤指定と曲率変動に対するモーメント SGD の頑健性を分析する。
• 学習率とモーメンタムをその場で適応させる自動チューナー（YellowFin）を設計・検証する。
• 非同期トレーニングへ拡張し、非同期由来の追加モーメンタムを補償する閉ループ YellowFin を適用する。
• 多様なモデル（ResNets および LSTMs）とタスク（画像認識、言語モデリング、構文解析）で性能を評価する。

提案手法

• モーメンタム更新を動的システムとしてモデル化し、モーメンタム演算子 A_t を研究する。
• 頑健性条件（スペクトル半径）を導出し、(1−√μ)^2 ≤ α h(x_t) ≤ (1+√μ)^2 のとき sqrt(mu) 収束を示す。
• 頑健な領域制約の下で勾配統計から (μ_t, α_t) を計算する SingleStep を開発する。
• 勾配ベースの測定関数 CurvatureRange、Variance、Distance を提案し、h_max、h_min、勾配分散 C、距離 D を推定する。
• 非滑らかな目的関数上でトレーニングを安定化させるための適応的勾配クリッピングを導入する。
• 安定な総モーメンタム μ_T を目標とすることで、非同期設定でアルゴリズムモーメンタムを調整する閉ループ YellowFi n を実装する。
• 勾配ベースの観測量に基づくチューニングと安定性のための実用的な実装と制御ループを提供する。

実験結果

リサーチクエスチョン

• RQ1 単一の調整済み学習率とモーメンタムを用いたモーメントベースの SGD は、様々なモデルで Adam のような適応型オプティマイザより優れた性能を発揮できるか。
• RQ2 学習率の誤指定と曲率の変動に対するモーメント SGD の頑健性はどの程度か、そしてこの頑健性を自動調整に活用できるか。
• RQ3 自動チューナー（YellowFin）は、同期・非同期トレーニングの両方でモーメンタムと学習率をリアルタイムに信頼性高く調整できるか。
• RQ4 閉ループモーメンタム制御を組み込むことで、非同期によるモーメンタムを緩和し収束を加速できるか。
• RQ5 調整済み Adam および手動調整済みモーメンタム SGD と比較して、CNNs と RNNs にわたる実証的なスピードアップと安定性の保証は何か。

主な発見

• 手動で調整した学習率を用いた Momentum SGD は、多くのモデルで Adam よりも速く収束できる。
• YellowFin は同期設定で Adam より最大 3.28x、非同期設定で最大 2.69x のスピードアップを ResNets と LSTMs に対して達成する。
• YellowFin は手動チューニングなしの範囲で、手動チューニング済みモーメンタム SGD に匹敵またはこれを上回り、複数のタスク（画像認識、言語モデリング、構文解析）でしばしば調整済み Adam を上回る。
• このチューナは、モーメント演算子の各ステップ・各方向で sqrt(mu) の均一なスペクトル半径を保証する頑健な領域内で動作する。
• 適応的勾配クリッピングは、勾配爆発を伴う目的関数のトレーニングを安定化させ、非滑らかなタスクの性能を向上させる。
• 閉ループ YellowFin は、非同期によるモーメンタムを補償して非同期トレーニングを大幅に加速し、目標性能へ到達するのに必要な反復回数を減らす。