[論文レビュー] On the Generalization Benefit of Noise in Stochastic Gradient Descent

Samuel Smith, Erich Elsen+1 more|arXiv (Cornell University)|Jun 26, 2020

Stochastic Gradient Optimization Techniques被引用数 22

ひとこと要約

この論文は、勾配のノイズが、ハイパーパrameterのきめ細やかなチューニングを行った後でも、深層学習における一般化を向上させることを示している。確率的微分方程式（SDE）フレームワークを用いて、訓練損失が大きなバッチサイズで低いにもかかわらず、小さなから中程度のバッチサイズがテスト精度において優れていることを確認した。これは、勾配ノイズによる持続的な一般化の利点を裏付けている。

ABSTRACT

It has long been argued that minibatch stochastic gradient descent can generalize better than large batch gradient descent in deep neural networks. However recent papers have questioned this claim, arguing that this effect is simply a consequence of suboptimal hyperparameter tuning or insufficient compute budgets when the batch size is large. In this paper, we perform carefully designed experiments and rigorous hyperparameter sweeps on a range of popular models, which verify that small or moderately large batch sizes can substantially outperform very large batches on the test set. This occurs even when both models are trained for the same number of iterations and large batches achieve smaller training losses. Our results confirm that the noise in stochastic gradients can enhance generalization. We study how the optimal learning rate schedule changes as the epoch budget grows, and we provide a theoretical account of our observations based on the stochastic differential equation perspective of SGD dynamics.

研究の動機と目的

• 小さなバッチサイズのSGDが大きなバッチサイズのSGDよりも一般化性能に優れるかどうかの議論を、ハイパーパrameterのきめ細やかなチューニングを伴う制御された実験によって解消すること。
• 訓練損失の最小化とテスト精度の最大化の両者に分けて、訓練予算（エポック数）の増加に伴う最適な学習率スケジューリングの変化を調査すること。
• 確率的微分方程式（SDE）の視点からSGDのダイナミクスを理論的に説明し、ノイズ支配領域と曲率支配領域を特定すること。
• 学習率スケジューリングが一般化に果たす役割を明確にすること、特に初期学習率の高さと後期の急激な減衰の重要性を強調すること。
• 一定のステップ予算下でも、ノイズによる一般化の利点が持続することを検証し、それが非最適なチューニングや計算リソースの制限に起因するものではないことを挑戦すること。

提案手法

• バッチサイズと損失関数の曲率に基づいて、ノイズ支配領域と曲率支配領域を区別する確率的微分方程式（SDE）フレームワークを用いてSGDのダイナミクスをモデル化した。
• 複数の標準モデル（例：CIFAR-10におけるWide-ResNet）を用いた制御された実験を実施し、固定された訓練ステップ数と、各バッチサイズにおける学習率の体系的なハイパーパrameterスイープを実施した。
• 初期学習率と最終学習率（固定された減衰率を用いて）をパrameter化した学習率スケジューリングを用い、異なる学習率の軌道における一般化性能を比較可能にした。
• 各バッチサイズにおける学習率のグリッドサーチを実施することで、最適なチューニングを保証し、非最適なハイパーパrameter選択によるバイアスを回避した。
• エポック予算が増加するに従って、最適な学習率の減衰率を分析し、訓練損失を最小化するスケジュールとテスト精度を最大化するスケジュールを比較した。
• 小さなバッチサイズでの訓練において安定する最大の学習率を推定することで、ノイズ支配領域と曲率支配領域の境界を特定した。

実験結果

リサーチクエスチョン

• RQ1 勾配のノイズが、ハイパーパrameterのチューニングや計算リソースの差異とは独立して、深層学習における本質的な一般化の利点を提供するのか？
• RQ2 訓練予算が増加するに従って、テスト精度を最大化するための最適な学習率スケジューリングは、訓練損失を最小化するためのものとどのように異なるのか？
• RQ3 SGDのSDE的視点が、ノイズ支配領域と曲率支配領域という二つの明確な訓練領域の存在を正確に予測でき、一般化に与える影響を説明できるのか？
• RQ4 同じ数のイテレーションで訓練する場合、バッチサイズ、学習率、テストセット性能の間にはどのような関係があるのか？
• RQ5 一般化を促進する「最適な温度」（学習率とバッチサイズの比）が存在するのか、そしてそれが計算リソースの予算にどのようにスケーリングされるのか？

主な発見

• 16-4 Wide-ResNetをCIFAR-10で訓練した結果、2048程度の中程度のバッチサイズが、16384という非常に大きなバッチサイズよりも顕著に高いテスト精度（94.9％）を達成した。これは、9725回の訓練ステップを経て、ハイパーパrameterの完全なチューニングが行われた後でも同様に成立した。
• テスト精度を最大化するための最適な学習率は、エポック予算が128倍に増加しても、わずかに2倍にしか減少しなかった。一方、訓練損失を最小化するための最適な学習率は、急速に減少した。
• テスト精度を最大化するための最適な初期学習率は、訓練損失を最小化するためのものよりも常に高く、同様に、テスト精度を最大化するための最適な最終学習率は常に低かった。
• 一定のステップ予算下でも、ノイズによる一般化の利点が持続することを確認した。これは、それが長時間の訓練や非最適なチューニングに起因するものではないことを裏付けた。
• 小さなバッチサイズのスイープにおいて安定する最大の学習率を特定することで、ノイズ支配領域と曲率支配領域の境界を推定でき、実用的なバッチサイズ選択戦略を示唆した。
• 初期に高い学習率を維持し、後期に急激に減衰させる学習率スケジューリングが、より良い一般化を達成した。これは、模擬冷却（シミュレーテッド・アンナリング）のアナロジーと、初期段階のノイズが一般化を形作る重要性を支持する。