[論文レビュー] Strength of Minibatch Noise in SGD

Liu Ziyin, Kangqiao Liu+2 more|arXiv (Cornell University)|Feb 10, 2021

Stochastic Gradient Optimization Techniques参考文献 42被引用数 8

ひとこと要約

この論文は、深層学習における確率的勾配降下法（SGD）におけるミニバッチノイズの、初めての体系的分析を提供し、任意の学習率を想定した離散時間SGDにおけるノイズ強度およびパラメータフラクチュエーションの正確な解析的公式を導出する。ノイズの性質が最小値の種類によって顕著に異なることが明らかになり、大きな学習率が暗黙の正則化を引き起こすことが示され、一般化性能の向上や極端な条件下での線形学習率-バッチサイズスケーリングの失敗を説明する。

ABSTRACT

The noise in stochastic gradient descent (SGD), caused by minibatch sampling, is poorly understood despite its practical importance in deep learning. This work presents the first systematic study of the SGD noise and fluctuations close to a local minimum. We first analyze the SGD noise in linear regression in detail and then derive a general formula for approximating SGD noise in different types of minima. For application, our results (1) provide insight into the stability of training a neural network, (2) suggest that a large learning rate can help generalization by introducing an implicit regularization, (3) explain why the linear learning rate-batchsize scaling law fails at a large learning rate or at a small batchsize and (4) can provide an understanding of how discrete-time nature of SGD affects the recently discovered power-law phenomenon of SGD.

研究の動機と目的

• 有限の学習率を想定した離散時間SGDにおけるミニバッチノイズの理論的理解の不足に応えること。
• 局所的最小値の周囲におけるSGDノイズの強度および形状の正確な解析的表現を導出すること。
• 大きな学習率が一般化性能を向上させる理由、および極端な条件下で線形学習率-バッチサイズスケーリングが失敗する理由を説明すること。
• SGDの離散的性質がトレーニングダイナミクスに観察されるべき乗則的挙動に与える影響を明確にすること。

提案手法

• 線形回帰（解けるモデル）を用いて、SGDノイズおよびパラメータフラクチュエーションの正確な解析的解を導出する。
• 行列の固有値分解とトレースに基づく近似を用いて、異なる種類の最小値におけるミニバッチノイズ共分散を一般化した公式を提案する。
• 連続時間極限およびヘッセ行列近似をベンチマークとして用い、新しい離散時間フレームワークの妥当性を検証する。
• 導出したノイズモデルを用いて、1次元および高次元設定におけるトレーニング/テスト損失、パラメータフラクチュエーション、収束条件を分析する。
• 学習率とバッチサイズの効果を組み込んだ、漸近的ノイズ共分散およびパラメータフラクチュエーションのトレースに基づく近似を導入する。
• 可換行列を用いた1次元および高次元ケースにおける理論的分析と数値的検証を通じて、結果の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 SGDにおけるミニバッチノイズの強度および形状は、異なる種類の局所的最小値においてどのように変化するか？
• RQ2 任意の学習率を想定した離散時間SGDにおけるパラメータフラクチュエーションの正確な解析的形は何か？
• RQ3 なぜ学習率とバッチサイズの線形スケーリング則が、大きな学習率または小さなバッチサイズの条件下で破綻するのか？
• RQ4 SGDの離散的性質は、トレーニングダイナミクスに観察されるべき乗則的挙動にどのように影響を与えるか？
• RQ5 学習率は、ミニバッチノイズを通じてどのように暗黙の正則化を引き起こすのか？

主な発見

• ミニバッチノイズは、一般にヘッセ行列によって近似できるわけではない。その形は最小値の種類に依存し、一部の状態では共通のヘッセ近似が不適切であることが判明した。
• 大きな学習率は、ノイズ構造を変化させることで暗黙の正則化を引き起こし、実際の一般化性能の向上を説明できる。
• 学習率が大きすぎる、またはバッチサイズが小さすぎる場合には、標準的近似で捉えきれないノイズ共分散の非線形効果が原因で、線形スケーリング則が破綻する。
• SGDの離散的性質が、パラメータフラクチュエーションにべき乗則に類似した挙動を引き起こし、これは連続時間近似では説明できない。
• 1次元SGDにおいて負の最適な正則化パラメータγを満たすための必要条件は、バッチサイズS ≠ 2であり、学習率がSおよびモデルパラメータに依存する非自明な境界を満たしていることである。
• 学習率、バッチサイズ、曲率をすべて考慮したパラメータフラクチュエーションΣの導出された解析的公式は、連続時間近似やヘッセに基づく近似よりもより正確な記述を可能にする。