[論文レビュー] Quantitative Propagation of Chaos for SGD in Wide Neural Networks

Valentin De Bortoli, Alain Durmus+2 more|arXiv (Cornell University)|Jul 13, 2020

Markov Chains and Monte Carlo Methods参考文献 55被引用数 13

ひとこと要約

本稿は、広い2層ニューラルネットワークにおける連続時間版の確率的勾配降下法（SGD）の定量化された混沌の伝播を確立し、$N \to \infty$ のとき個々のニューロンが平均場McKean-Vlasov拡散に収束することを示している。主な貢献は、ステップサイズが$N$に対してどのようにスケーリングするかに応じて、2つの異なる平均場的状態——1つは決定論的で、もう1つは暗黙的正則化を伴う——が生じることを特定し、Wasserstein距離における明示的な収束レートを提供することにある。

ABSTRACT

In this paper, we investigate the limiting behavior of a continuous-time counterpart of the Stochastic Gradient Descent (SGD) algorithm applied to two-layer overparameterized neural networks, as the number or neurons (ie, the size of the hidden layer) $N o +\infty$. Following a probabilistic approach, we show 'propagation of chaos' for the particle system defined by this continuous-time dynamics under different scenarios, indicating that the statistical interaction between the particles asymptotically vanishes. In particular, we establish quantitative convergence with respect to $N$ of any particle to a solution of a mean-field McKean-Vlasov equation in the metric space endowed with the Wasserstein distance. In comparison to previous works on the subject, we consider settings in which the sequence of stepsizes in SGD can potentially depend on the number of neurons and the iterations. We then identify two regimes under which different mean-field limits are obtained, one of them corresponding to an implicitly regularized version of the minimization problem at hand. We perform various experiments on real datasets to validate our theoretical results, assessing the existence of these two regimes on classification problems and illustrating our convergence results.

研究の動機と目的

• 過パラメータ化された2層ニューラルネットワークにおけるSGDの極限的挙動を、ニューロン数$N \to \infty$ のとき理解すること。
• ステップサイズが$N$に対してどのようにスケーリングするかが、ネットワークの重みからなる粒子系の平均場極限に与える影響を分析すること。
• Wasserstein距離における個々のニューロンが平均場極限に収束する定量的レートを確立すること。
• 異なるステップサイズ依存性に起因する、決定論的でかつ暗黙的正則化を伴う2つの明確に異なる平均場的状態を特定・特徴づけること。
• MNIST や CIFAR-10 といった実際のデータセット上で理論的知見を実験的に検証すること。

提案手法

• $N$ 個の隠れユニットを有する過パラメータ化された2層ニューラルネットワークに対して、連続時間版のSGDを定式化する。
• ネットワーク重みが定義する粒子系を確率的枠組みで扱い、$N \to \infty$ のときの混沌の伝播を証明する。
• Wasserstein距離を用いて、重みの経験的測度が平均場極限に収束する度合いを定量化する。
• 平均場極限としてMcKean-Vlasovスデを導出し、そのノイズ構造がデータ分布とステップサイズのスケーリングに依存することを示す。
• ステップサイズが$N$と反復回数の両方に依存する列を考察し、時間変動型かつ$N$依存の学習率を許容する。
• PyTorchを用いてMNISTおよびCIFAR-10における数値実験を実施し、重み分布が予測された極限測度に収束することを検証する。

実験結果

リサーチクエスチョン

• RQ1 SGDのステップサイズがニューロン数$N$に対してどのようにスケーリングするかが、ネットワーク重みダイナミクスの平均場極限に与える影響は何か？
• RQ2 平均場極限が非ゼロの拡散（すなわち、暗黙的正則化）を示す条件は何か？ これは標準的な決定論的平均場極限とどのように異なるか？
• RQ3 Wasserstein距離における個々のニューロンが$N \to \infty$ のとき平均場解に収束する定量的レートは何か？
• RQ4 理論的平均場的状態は、標準データセット上で実際のニューラルネットワークの学習において実証的に観察可能か？
• RQ5 ミニバッチサイズ$M$は、平均場的状態への収束にどのように影響するか？

主な発見

• 本稿は、Wasserstein距離で測定したとき、ネットワーク重みの経験的測度が平均場McKean-Vlasov解に収束する定量的レートを確立し、そのレートは$N$に依存することを示した。
• 2つの明確に異なる平均場的状態が出現する：1つは決定論的ODEフロー（標準的な平均場極限）に対応し、もう1つはデータに依存する拡散を有する非退化McKean-Vlasovスデに対応する。
• ステップサイズが$\gamma N^\beta$とスケーリングする場合に、暗黙的正則化状態が生じる。このとき、極限スデに非ゼロの共分散が現れる。
• $\beta < 1$ の場合、極限ダイナミクスは決定論的であるが、$\beta = 1$ の場合、ダイナミクスはデータ分布に依存する拡散係数を持つ確率的となる。
• MNISTおよびCIFAR-10における実験により、2つの状態が確認された：重み分布のヒストグラムは$\beta$に応じて明確に分離する異なる極限分布に収束し、$\beta = 1$ で明確な分離が観察された。
• 経験的重み分布が平均場極限に収束する傾向は、$N$が増加するにつれて改善され、またミニバッチサイズ$M$にも影響を受けることが観察され、$M \to \infty$ のとき極限に収束することが示された。