[論文レビュー] Three Factors Influencing Minima in SGD

Stanisław Jastrzȩbski, Zachary Kenton+5 more|arXiv (Cornell University)|Nov 13, 2017

Sexual Differentiation and Disorders参考文献 22被引用数 249

ひとこと要約

本論文は、学習率とバッチサイズの比LR/BSおよび勾配の共分散がSGDの極小値の幅と汎化性能を決定することを示しており、確率微分方程式フレームワークで分析し、実験的に検証している。

ABSTRACT

We investigate the dynamical and convergent properties of stochastic gradient descent (SGD) applied to Deep Neural Networks (DNNs). Characterizing the relation between learning rate, batch size and the properties of the final minima, such as width or generalization, remains an open question. In order to tackle this problem we investigate the previously proposed approximation of SGD by a stochastic differential equation (SDE). We theoretically argue that three factors - learning rate, batch size and gradient covariance - influence the minima found by SGD. In particular we find that the ratio of learning rate to batch size is a key determinant of SGD dynamics and of the width of the final minima, and that higher values of the ratio lead to wider minima and often better generalization. We confirm these findings experimentally. Further, we include experiments which show that learning rate schedules can be replaced with batch size schedules and that the ratio of learning rate to batch size is an important factor influencing the memorization process.

研究の動機と目的

• 深層ネットにおけるSGDのダイナミクスと最終的な極小値の幾何学が、LR、BS、および勾配共分散にどのように依存するかを調査する。
• LR/BS比が極小値の幅と汎化の鍵となる決定因子であることを示す。
• LR/BSを保持するように学習率とバッチサイズを再スケーリングした場合に、SGDのダイナミクスが不変であることを示す。
• 性能を損なうことなく、学習率スケジュールをバッチサイズスケジュールに置換する可能性を探る。
• 記憶化ダイナミクスとLR/BSがそれに与える影響を検討する。

提案手法

• SGDをη/Sに比例するノイズ分散を持つ確率微分方程式の離散化Euler-Maruyama近似としてモデル化する。
• 最小値付近の損失を二次近似（OU近似）とした場合に、LR/BSとヘッセ行列のトレースとの関係を導出する。
• ヘッセ行列/勾配共分散の固有構造を用いた変数変換を実行し、定常分布を分析する。
• VGG11やResNetのCIFAR-10、さらにFashion-MNISTとCIFAR-10上のMLPなどのアーキテクチャで実証的に検証し、ヘッセ行列関連量と汎化を測定する。
• 等方的勾配共分散と異方性勾配共分散のシナリオを比較し、LR/BSが平衡化と極小値選択に及ぼす効果を示す。

実験結果

リサーチクエスチョン

• RQ1 SGDの経路と最終的な極小値は、学習率、バッチサイズ、勾配共分散にどのように依存するか。
• RQ2 異なるハイパーパラメータ設定において、SGDのダイナミクスは主にLR/BS比によって決定されるのか。
• RQ3 LR/BSを増やすと、DNNの極小値はより広くなり、汎化が向上するのか。
• RQ4 学習率スケジュールをバッチサイズスケジュールに置換しても、性能を犠牲にせずに済むのか。
• RQ5 訓練中の記憶化と過学習の挙動において、LR/BSはどのような影響を与えるのか。

主な発見

• SGDのダイナミクスと最終的な極小値は、LR/BS比によって支配されるのに、LRやBS単独ではない。
• より大きなLR/BSは、より広い極小値を生み出し、しばしばより良い一般化をもたらす。
• SDGダイナミクスは、同じLR/BS比を持つと、異なるリスケールされたハイパーパラメータでも概ね同じで、基になる同じSDE/OUプロセスに対応する。
• 二次近似の損失の下で、最小値における期待損失はη/Sとヘッセ行列のトレースに比例してスケーリングし、ノイズレベルと最小幅を結びつける。
• 実験は、より大きなLR/BSがより小さなヘッセ行列固有値と Frobeniusノルムに相関し、検証性能が向上することを示している。
• 学習率スケジュールは、学習ダイナミクスを維持したまま、効果的にバッチサイズスケジュールに置換できる。