[論文レビュー] The Impact of the Mini-batch Size on the Variance of Gradients in Stochastic Gradient Descent

X. Qian, Diego Klabjan|arXiv (Cornell University)|Apr 27, 2020

Stochastic Gradient Optimization Techniques参考文献 35被引用数 29

ひとこと要約

この論文は、線形モデルおよび2層線形ネットワークにおけるSGDの確率的勾配の分散がミニバッチサイズにどのように影響を受けるかを理論的に分析している。勾配の分散が大きなバッチサイズで減少することを証明し、それは定数項のない1/bの多項式であることを示しており、勾配ノルムと初期重みの間の再帰的関係を提示することで、SGDのダイナミクスと一般化行動に関する洞察を提供している。

ABSTRACT

The mini-batch stochastic gradient descent (SGD) algorithm is widely used in training machine learning models, in particular deep learning models. We study SGD dynamics under linear regression and two-layer linear networks, with an easy extension to deeper linear networks, by focusing on the variance of the gradients, which is the first study of this nature. In the linear regression case, we show that in each iteration the norm of the gradient is a decreasing function of the mini-batch size $b$ and thus the variance of the stochastic gradient estimator is a decreasing function of $b$. For deep neural networks with $L_2$ loss we show that the variance of the gradient is a polynomial in $1/b$. The results back the important intuition that smaller batch sizes yield lower loss function values which is a common believe among the researchers. The proof techniques exhibit a relationship between stochastic gradient estimators and initial weights, which is useful for further research on the dynamics of SGD. We empirically provide further insights to our results on various datasets and commonly used deep network structures.

研究の動機と目的

• ミニバッチサイズが確率的勾配降下法（SGD）における勾配の分散に与える影響を理論的に分析すること。
• 線形回帰および2層線形ネットワークにおいて、勾配の分散がバッチサイズが増加するにつれて減少することを確立すること。
• 勾配ノルムと初期モデル重みの間の再帰的関係を導出することで、理論的分析を支援すること。
• 収束を超えたSGDのダイナミクスを理解するための枠組みを提供することに焦点を当て、分散と一般化を対象とする。
• 複数のデータセットおよびネットワークアーキテクチャを用いて理論的発見を経験的に検証すること。

提案手法

• ノルムに基づく特性を用いた線形回帰における勾配分散の理論的分析。
• 各SGD反復において勾配ノルムと初期重みの間の再帰的関係の導出。
• L2損失を用いた2層線形ネットワークにおいて、勾配分散が1/bの多項式であり、非負の先頭係数を持つことを証明。
• 条件付き分散とモーメント母関数を用いて、確率的サンプリング下での勾配行動の特徴づけ。
• 勾配ダイナミクスの構造的類似性を活用して、結果をより深い線形ネットワークに拡張。
• 合成データ、MNIST、Yelpデータセットを用いた経験的検証。各設定に対して複数回の実行を実施し、統計的有意性を確保。

実験結果

リサーチクエスチョン

• RQ1 線形モデルにおいて、ミニバッチサイズが大きくなるにつれて、確率的勾配推定の分散は減少するか？
• RQ2 2層線形ネットワークにおいて、勾配の分散はミニバッチサイズの関数としてどのような関数形をとるか？
• RQ3 SGD反復において、初期モデル重みと勾配ノルムの間にはどのような関係があるか？
• RQ4 深い線形ネットワークにおいて、勾配推定の分散は1/bの多項式として表現可能か？
• RQ5 より小さなミニバッチサイズが、高い勾配分散のおかげで低い訓練損失をもたらすのか？

主な発見

• 線形回帰において、任意のサンプルごとの勾配の線形結合のノルムは、ミニバッチサイズbの減少関数である。
• 正規分布の入力をもつL2損失を用いた2層線形ネットワークでは、勾配分散が定数項のない1/bの多項式であることが示され、bが大きい場合に分散が減少することを証明した。
• 1/bの多項式における先頭係数は非負であり、十分に大きなバッチサイズにおいて分散の単調減少を保証する。
• 勾配ノルムと初期重みの間の再帰的関係により、初期条件に基づいて任意の反復における勾配関連量の計算が可能になる。
• 線形回帰、2層ネットワーク、MNIST、XLNetにおける経験的結果から、より小さなバッチサイズが低い訓練損失と高い勾配分散をもたらすことが確認された。
• 理論的枠組みにより、勾配分散、バッチサイズ、初期重みの間の構造的依存関係が明らかになり、今後のSGDダイナミクスの分析を支援する。