[論文レビュー] On the adequacy of untuned warmup for adaptive optimization

Jerry Ma, Denis Yarats|arXiv (Cornell University)|Oct 9, 2019

Advanced Bandit Algorithms Research参考文献 31被引用数 22

ひとこと要約

この論文は、単純な線形ウォームアップ（特に $2/(1-\beta_2)$ 学習イテレーション間）を用いたAdamが、適応的学習率の分散を自動で是正すると主張するより複雑なRAdamアルゴリズムと同等の性能を示すことを示している。著者らは、RAdamが4ステップの初期モーメンタムステップに続く固定ウォームアップ付きのAdamと同等であり、初期学習段階における更新量の不安定性（勾配の分散ではなく）がウォームアップの必要性を説明すると示している。

ABSTRACT

Adaptive optimization algorithms such as Adam are widely used in deep learning. The stability of such algorithms is often improved with a warmup schedule for the learning rate. Motivated by the difficulty of choosing and tuning warmup schedules, recent work proposes automatic variance rectification of Adam's adaptive learning rate, claiming that this rectified approach ("RAdam") surpasses the vanilla Adam algorithm and reduces the need for expensive tuning of Adam with warmup. In this work, we refute this analysis and provide an alternative explanation for the necessity of warmup based on the magnitude of the update term, which is of greater relevance to training stability. We then provide some "rule-of-thumb" warmup schedules, and we demonstrate that simple untuned warmup of Adam performs more-or-less identically to RAdam in typical practical settings. We conclude by suggesting that practitioners stick to linear warmup with Adam, with a sensible default being linear warmup over $2 / (1 - β_2)$ training iterations.

研究の動機と目的

• RAdamの著者らが主張する『RAdamは学習率ウォームアップの必要性を排除する』という主張に反論し、適応的最適化におけるウォームアップの背後にある根拠を再評価すること。
• Adamの初期学習段階における不安定性の原因が、勾配の分散ではなく更新量のダイナミクスに起因するかどうかを調査すること。
• 多様なモデルやハイパーパrameter設定でRAdamと同等の性能を達成できる、シンプルでチューニングのいらないAdam用のウォームアップスケジュールを提案すること。
• ハイパーパrameterチューニングのコストを回避しながらも、訓練の安定性と収束性を維持できる実用的でデフォルトのウォームアップスケジュールを提供すること。

提案手法

• RAdamを、4回の初期ヘビーボールモーメンタムステップに続く固定ウォームアップ付きのAdamとして再表現し、根本的に新しいアルゴリズムではないことを示した。
• シミュレーションを用いて、初期学習段階におけるAdamのパラメータ更新量の大きさを分析した（すなわち、シミュレーテッド局所最小値でも）。
• ハイパーパrameter $\beta_2$ に基づく経験則的なウォームアップスケジュールを提案した。具体的には、$2/(1 - \beta_2)$ イテレーション間の線形ウォームアップ。
• 複数のモデルとハイパーパrameter設定において、チューニングなしの線形ウォームアップとRAdamの訓練ダイナミクスと性能を比較した。
• シミュレーションベースの分析により、Adamにおける更新量が速やかに定常分布に収束することを示し、初期段階の不安定性が勾配の分散に起因するわけではないことを示唆した。
• 提案されたウォームアップスケジュールの有効性を、標準的および極端なハイパーパrameter設定（異なる $\beta_2$ 値と学習率）において評価した。

実験結果

リサーチクエスチョン

• RQ1 RAdamの著者らの主張とは異なり、Adamにおける学習率ウォームアップの必要性は本当に勾配の分散に起因しているのだろうか？
• RQ2 Adam用のシンプルでチューニングのいらないウォームアップスケジュールが、多様なディープラーニング設定でRAdamと同等の性能を達成できるのだろうか？
• RQ3 Adamの初期学習段階における不安定性の実際の原因は何か——勾配の分散か、更新量のダイナミクスか？
• RQ4 Adamにおけるパラメータ更新量の大きさは初期学習段階でどのように変化するのか？ そして、速やかに安定化するのか？
• RQ5 ハイパーパラメータチューニングの必要性を排除しながらも、訓練の安定性を維持できるデフォルトのウォームアップスケジュールを導出できるのだろうか？

主な発見

• RAdamは数学的に、4回の初期モーメンタムステップに続く固定ウォームアップ付きのAdamと同等であり、根本的に新しい最適化手法ではない。
• RAdamの主張する『勾配の分散に基づく説明』は誤りであり、Adamにおける一次モーメントと二次モーメント推定器の相関を無視しているためである。
• シミュレーテッド局所最小値でも、Adamは初期段階において顕著な非正規性を示す更新量の大きさを示しており、不安定性の根本的要因が勾配の分散をはるかに超えるものであることを示している。
• 線形ウォームアップを $2/(1 - \beta_2)$ イテレーション間で行うことで、多様なモデルとハイパーパラメータ設定において、RAdamと区別できない性能と訓練ダイナミクスが達成される。
• RAdamと提案された経験則的スケジュールにおける有効なウォームアップ期間は、$\beta_2 = 0.999$ の場合約1000イテレーションであるが、更新量の理論的収束は約40イテレーションで達成される。
• Adamの後期段階における更新量の大きさは、勾配の分散や定常性にほとんど依存せず、学習率の減少が後期収束を改善する主な要因であると考えられる。