[論文レビュー] A Large Batch Optimizer Reality Check: Traditional, Generic Optimizers Suffice Across Batch Sizes

Zachary Nado, Justin Gilmer+3 more|arXiv (Cornell University)|Feb 12, 2021

Advanced Neural Network Applications参考文献 22被引用数 8

ひとこと要約

本稿では、層ごとの正規化を施さずに、ResNet-50およびBERTのベンチマークにおいて、NesterovモーメンタムやAdamのような従来の最適化手法が、LARS や LAMB と同等またはそれ以上の性能を発揮することを示している。主な発見は、標準的な最適化手法が適切にチューニングされれば、大規模バッチサイズでも同等または優れた精度を達成できることであり、訓練効率のスケーリングに複雑な更新ルールが不可欠であるという主張に疑問を呈している。

ABSTRACT

Recently the LARS and LAMB optimizers have been proposed for training neural networks faster using large batch sizes. LARS and LAMB add layer-wise normalization to the update rules of Heavy-ball momentum and Adam, respectively, and have become popular in prominent benchmarks and deep learning libraries. However, without fair comparisons to standard optimizers, it remains an open question whether LARS and LAMB have any benefit over traditional, generic algorithms. In this work we demonstrate that standard optimization algorithms such as Nesterov momentum and Adam can match or exceed the results of LARS and LAMB at large batch sizes. Our results establish new, stronger baselines for future comparisons at these batch sizes and shed light on the difficulties of comparing optimizers for neural network training more generally.

研究の動機と目的

• LARS や LAMB が大規模バッチサイズにおいて標準的最適化手法に比べて実質的な利点を提供するかどうかを評価すること。
• 適切にチューニングされた標準的最適化手法を用いて、大バッチニューラルネットワーク学習のためのより強固で公平なベースラインを確立すること。
• LARS や LAMB の性能向上が、より優れた最適化によるものか、あるいは間接的な正則化効果によるものかを調査すること。
• 最適化手法の比較において、ハイパーパramータチューニングの重要性と、バイアスのかかったベンチマーキングのリスクを強調すること。
• 今後の最適化手法研究において、より厳密で標準化された評価プロトコルの導入を提言すること。

提案手法

• 大規模バッチサイズ（最大32,768）で、Nesterov モーメンタムおよびAdamを用いてImageNet上でResNet-50を再訓練し、広範なハイパーパramータチューニングを実施した。
• 公平な比較を確保するため、LARS や LAMB のベンチマークで使用された学習率スケジューリングおよび正則化手法を同一に適用した。
• 元のLARSおよびLAMBの研究と同一のデータ前処理、モデルアーキテクチャ、およびトレーニングプロトコルを採用した。
• トレーニングパイプラインの他の要因と分離して最適化手法の影響を特定するためのアブレーションスタディを実施した。
• 最適化速度と正則化効果を分離するために、トレーニング損失および検証損失の両方を評価した。
• コンピュータビジョンを超えた一般化を検証するため、BERTの事前学習でも実験を実施した。

実験結果

リサーチクエスチョン

• RQ1 LARS や LAMB は、大規模バッチサイズにおいて、Adam や Nesterov モーメンタムといった標準的最適化手法に比べて測定可能な性能優位性を提供するか？
• RQ2 LARS や LAMB の性能向上は、最適化の質の向上によるものか、それとも暗黙の正則化効果によるものか、その程度はどの程度か？
• RQ3 同等のハイパーパramータチューニング作業がなされた場合、標準的最適化手法が LARS や LAMB と同等またはそれ以上の結果を達成できるか？
• RQ4 学習率スケジューリングやトレーニングパイプライン構成の違いは、最適化手法の比較にどの程度影響を及ぼすか？
• RQ5 深層学習における新しい最適化手法のベンチマーキングと評価にどのような意味合いがあるか？

主な発見

• Nesterov モーメンタムは、32,768 のバッチサイズにおいて、LARS が大規模バッチ学習を特に設計したにもかかわらず、ResNet-50 の検証精度を同等または上回った。
• Adam は、65,536 のバッチサイズまで BERT 事前学習で LAMB を同等または上回った。これは、Adam が16,384 を超えてスケーリングできないという主張に反する。
• LARS や LAMB の性能向上は、優れた最適化によるものではなく、おそらく暗黙の正則化効果によるものであり、標準的最適化手法は類似の検証性能に到達しながらも、より高いトレーニング精度を示した。
• 本研究では、学習率スケジューリングが最適化手法の選択よりもはるかに大きな影響を持つことが判明し、不均衡なチューニングは新規最適化手法の優位性を誤って主張する要因となる可能性があることが明らかになった。
• 適切にチューニングされた標準的最適化手法（Adam や Nesterov モーメンタム）は、依然として競争力があり、しばしば優れている。これは、複雑で特殊な更新ルールの必要性を疑問視するものである。
• 結果として、すべての最適化手法が同一のチューニングおよびパイプライン条件で評価される標準的で競争力のあるベンチマークの必要性が強調された。