[論文レビュー] How to decay your learning rate

Aitor Lewkowycz|arXiv (Cornell University)|Mar 23, 2021

Topic Modeling参考文献 22被引用数 16

ひとこと要約

本論文では、重みノルムが減少をやめ、上昇し始めること（モデル収束の兆候）を検出し、その時点で学習率を減衰させる自動的学習率スケジューラであるABELを提案する。ABELは、ハイパーパrameterに敏感さが低く、複雑なスケジュールが有効なのは重みノルムの「バウンス」が発生する場合に限られ、そうでない場合には単純な訓練終了時減衰で十分であることを示している。

ABSTRACT

Complex learning rate schedules have become an integral part of deep learning. We find empirically that common fine-tuned schedules decay the learning rate after the weight norm bounces. This leads to the proposal of ABEL: an automatic scheduler which decays the learning rate by keeping track of the weight norm. ABEL's performance matches that of tuned schedules and is more robust with respect to its parameters. Through extensive experiments in vision, NLP, and RL, we show that if the weight norm does not bounce, we can simplify schedules even further with no loss in performance. In such cases, a complex schedule has similar performance to a constant learning rate with a decay at the end of training.

研究の動機と目的

• 深層学習における複雑な学習率スケジュールが単純なスケジュールを上回る時期とその理由を理解すること。
• 最適な学習率減衰タイミングを予測するための重要な指標としての重みノルムバウンスを同定すること。
• 広範なハイパーパrameterチューニングを必要とせず、モデルのダイナミクスに適応する自動的かつロバストなスケジューラを開発すること。
• 異なる訓練環境下で、複雑なスケジュールが必須であるか、それとも単純な代替案で十分であるかを特定すること。
• L2正則化が重みノルムバウンスを可能にし、スケジュール効果に与える影響を調査すること。

提案手法

• ABELは、全層のネットワーク重みのL2ノルムを監視し、ノルムの減少が止まり、増加に転じる瞬間（初期訓練段階の終了を示唆）を検出する。
• スケジューラは、重みノルムに明確な「バウンス」が観察された時点で学習率を減衰させる。バウンスとは、固定学習率下で単調減少から単調増加への移行を定義する。
• ABELは主に2つのハイパーパrameter（ベース学習率と減衰係数）のみを必要とし、チューニングされたステップワイズまたはコサインスケジュールよりも単純かつロバストである。
• 計算コストは軽く、2つのスカラ値（現在と直前の重みノルム）の保存のみを必要とし、メモリや計算コストへの影響は無視できる。
• 本手法は、視覚（ResNet, VGG）、自然言語処理（Transformers）、強化学習のタスクを対象に、多様なアーキテクチャとデータセットで検証された。
• 標準的なスケジュール（ステップワイズ、コサイン減衰）と比較し、L2正則化や重み初期化の変動に伴う性能評価も実施した。

実験結果

リサーチクエスチョン

• RQ1 訓練中に最適な学習率減衰タイミングはいつで、その瞬間を信頼性高く予測できる動的信号は何か？
• RQ2 複雑な学習率スケジュールが性能向上をもたらすために、重みノルムバウンスは必須条件か？
• RQ3 重みノルムバウンスが発生しない状況下で、訓練終了時の単純な減衰が、複雑で手動チューニングされたスケジュールと同等の性能を達成できるか？
• RQ4 L2正則化の有無が、学習率スケジュールの有効性に与える影響は何か？
• RQ5 ABELの適応的減衰メカニズムは、ハイパーパrameter選択に対するロバスト性において、標準的なスケジュールを上回るか？

主な発見

• ABELは、ビジョン、NLP、強化学習のタスクで、手動チューニングされたステップワイズおよびコサイン減衰スケジュールと同等の性能を達成し、ハイパーパrameterへの感受性が著しく低い。
• 重みノルムバウンス（固定学習率下で単調減少から単調増加への移行）は、最適な学習率減衰タイミングを示す強力で一貫性のある指標である。
• 複雑な学習率スケジュールが性能向上をもたらすのは、重みノルムバウンスが発生する場合に限られ、その発生がなければ単純な訓練終了時減衰で十分であり、しばしば最適である。
• L2正則化がなければ重みノルムバウンスは発生せず、NLPやRLの設定では、複雑なスケジュールは単純な減衰と同等の性能に留まる。
• L2正則化を削除すると、ImageNet分類においてモーメンタムがAdamを上回るという知られている性能優位性が消失する。これは、バウンスが背後要因として重要であることを示唆している。
• 最小テスト誤差は常に学習率減衰直後に発生する。これは、スケジューリングがノイズ低減を目的としているという仮説を支持する。