[論文レビュー] Which Algorithmic Choices Matter at Which Batch Sizes? Insights From a Noisy Quadratic Model

Guodong Zhang, Lala Li+6 more|arXiv (Cornell University)|Jul 9, 2019

Stochastic Gradient Optimization Techniques参考文献 49被引用数 15

ひとこと要約

本論文は、前処理、モーメンタム、指数移動平均などのアルゴリズム的選択がニューラルネットワーク学習における臨界ミニバッチサイズに与える影響を調査するため、ノイズのある2次モデル（NQM）を導入する。NQMは、Adam や K-FAC のような前処理付き最適化手法が、SGD にモーメンタムを適用した場合よりもはるかに大きなミニバッチサイズまで完全なミニバッチサイズスケーリングを拡張できることを正確に予測しており、また小規模なミニバッチサイズでも性能を向上させることも示している。

ABSTRACT

Increasing the batch size is a popular way to speed up neural network training, but beyond some critical batch size, larger batch sizes yield diminishing returns. In this work, we study how the critical batch size changes based on properties of the optimization algorithm, including acceleration and preconditioning, through two different lenses: large scale experiments, and analysis of a simple noisy quadratic model (NQM). We experimentally demonstrate that optimization algorithms that employ preconditioning, specifically Adam and K-FAC, result in much larger critical batch sizes than stochastic gradient descent with momentum. We also demonstrate that the NQM captures many of the essential features of real neural network training, despite being drastically simpler to work with. The NQM predicts our results with preconditioned optimizers, previous results with accelerated gradient descent, and other results around optimal learning rates and large batch training, making it a useful tool to generate testable predictions about neural network optimization.

研究の動機と目的

• 異なる最適化アルゴリズムがニューラルネットワーク学習における臨界ミニバッチサイズに与える影響を理解すること。
• 前処理、モーメンタム、指数移動平均が、標準的な SGD で達成可能な範囲を超えて大規模ミニバッチ学習の利点を拡張できるかどうかを調査すること。
• 実世界のニューラルネットワーク最適化ダイナミクスに対して、単純なノイズのある2次モデル（NQM）の予測能力を検証すること。
• 高価な実験的ミニバッチサイズ研究の代替として、スケーラブルで解析的に取り扱いやすい代替手法を提供すること。
• 大規模ミニバッチ学習における最適な学習率スケジューリングおよびアルゴリズム的ハイパーパrameterに関する検証可能な予測を生成すること。

提案手法

• 勾配ノイズと曲率の両方を捉える、ニューラルネットワーク最適化の主要な側面を反映したノイズのある2次モデル（NQM）を構築する。
• NQM を用いて、最適な学習率、臨界ミニバッチサイズ、およびアルゴリズム的要素の影響に関する解析的予測を導出する。
• 複数のモデル（CNN、ResNet、VGG、Transformers）とデータセット（MNIST、CIFAR10、ImageNet、LM1B）を用いた大規模な実験を通じて、NQM の予測を検証する。
• Adam や K-FAC のような前処理付き最適化手法を適用し、さまざまなミニバッチサイズにおける SGD にモーメンタムを適用した場合との性能を比較する。
• 定数および線形減衰の学習率スケジューリングを実装し、それらがミニバッチサイズおよび最適化手法の選択とどのように相互作用するかを分析する。
• ミニバッチサイズにわたる訓練の安定化を図るため、ゴーストバッチ正則化、ラベルスムージング、チャネル単位の重み正則化などの技術を用いる。

実験結果

リサーチクエスチョン

• RQ1 SGD にモーメンタムを適用した場合と比較して、前処理付き手法（Adam や K-FAC）を用いる場合、臨界ミニバッチサイズは最適化アルゴリズムの選択にどのように依存するか？
• RQ2 ノイズのある2次モデル（NQM）は、ニューラルネットワーク学習における実世界のミニバッチサイズスケーリング行動をどの程度正確に予測できるか？
• RQ3 指数移動平均（EMA）は、特定のミニバッチサイズに対して必要な訓練ステップ数を減らすことができ、より小さなミニバッチサイズで同等の性能を達成可能にするのか？
• RQ4 学習率スケジューリングは、ミニバッチサイズおよび最適化手法の種別とどのように相互作用し、訓練の効率に影響を与えるか？
• RQ5 大規模ミニバッチ学習の有効範囲を拡張する観点で、前処理とモーメンタムの相対的な影響はどの程度か？

主な発見

• ノイズのある2次モデル（NQM）は、実際のニューラルネットワーク学習で観察されるミニバッチサイズスケーリング行動（モーメンタムや前処理の影響を含む）を正確に予測している。
• Adam や K-FAC のような前処理付き最適化手法は、SGD にモーメンタムを適用した場合よりもはるかに大きなミニバッチサイズまで完全なミニバッチサイズスケーリングを拡張できており、特に K-FAC が最大の臨界ミニバッチサイズを達成している。
• モーメンタムとは異なり、前処理は小規模なミニバッチサイズでもパフォーマンスの向上をもたらし、ミニバッチサイズの全範囲にわたって訓練効率を向上させている。
• 指数移動平均（EMA）は、特定のミニバッチサイズに対して必要な訓練ステップ数を削減でき、より小さなミニバッチサイズで同等の性能を達成可能にし、計算リソースを節約できる。
• 定数および線形減衰の両方のスケジューリングにおいて、最適な学習率はミニバッチサイズに比例してスケーリングされ、NQM の予測と整合的である。
• NQM は、大規模なミニバッチのリターンが減少する現象や、臨界ミニバッチサイズの存在といった既知の現象をうまく再現しており、最適化における予測ツールとしての有効性を検証している。