[論文レビュー] Mean Field Limit of the Learning Dynamics of Multilayer Neural Networks

Phan-Minh Nguyen|arXiv (Cornell University)|Feb 7, 2019

Neural Networks and Applications参考文献 40被引用数 36

ひとこと要約

tldr: 本論文は適切なスケーリングと SGD の下で多層ニューラルネットの学習ダイナミクスの平均場リミットを提案し、ニューロンの数が大きくなるにつれてネットワークの挙動がニューロン数に依存しなくなることを示し、この挙動をリミティング方程式の集合で説明できることを示す。

ABSTRACT

Can multilayer neural networks -- typically constructed as highly complex structures with many nonlinearly activated neurons across layers -- behave in a non-trivial way that yet simplifies away a major part of their complexities? In this work, we uncover a phenomenon in which the behavior of these complex networks -- under suitable scalings and stochastic gradient descent dynamics -- becomes independent of the number of neurons as this number grows sufficiently large. We develop a formalism in which this many-neurons limiting behavior is captured by a set of equations, thereby exposing a previously unknown operating regime of these networks. While the current pursuit is mathematically non-rigorous, it is complemented with several experiments that validate the existence of this behavior.

研究の動機と目的

• 適切なスケーリングの下で多層ニューラルネットの平均場（MF）リミットを動機づけ、形式化する。
• 対称性と自己平均化が多層アーキテクチャに対する縮約された層ごとの確率核表現を導くことを示す。
• 三層ネットワークの MF リミットにおける前向き、逆伝播、学習ダイナミクスを導出し、多層ネットワークへ一般化する。
• 有限ネットワークの SGD と MF リミットとの経験的検証を通じて MF リミットの直感的結びつきを示す。

提案手法

• 多層の接続と対称性を尊重するため、層間のニューロンを表す確率的核表現を導入する。
• MF リミットにおける前向き伝搬をニューヨン測度の積分として定義する。例：hat{y}(x; rho1, rho2) = ∫ beta sigma(H2(f; x, rho1)) rho2(d f, d beta).
• 核表現を用いた確率量 Delta_beta, Delta_H2, Delta_w2, Delta_H1, Delta_w1 を積分で表現する。
• 初期化がランダムな連結を持つ連結系として、rho1^t および rho2^t の進化方程式を連立PDEとして確立し、 SGD ダイナミクスを模倣する。
• 三層ネットワークの MF リミットダイナミクスを具体的に提示し、前向き（7–16）および逆伝播／進化（17–24）形を含む。
• 一般の多層ネットワークへの拡張を論じ、MF リミット挙動の実験的検証を提供する。

実験結果

リサーチクエスチョン

• RQ1 適切なスケーリングと SGD の下で多層ニューラルネットの学習ダイナミクスを MF リミットで記述できるか。
• RQ2 対称性、周辺一様性、自己平均化が多層アーキテクチャに対する扱いやすい MF 表現をどう導くか。
• RQ3 三層ネットワークの MF リミットにおける前向き、逆伝播、学習ダイナミクスは何で、深いネットワークへどのように一般化するか。
• RQ4 大規模な多層ネットワークは MF リミットの下でニューロン数の正確さに依存しない挙動を示すか、経験的観察と一致するか。
• RQ5 理論的 MF リミット予測は実ネットワークの実験結果とどの程度一致するか。

主な発見

• 適切なスケーリングと SGD の下で、ニューロン数が増大するにつれてネットワーク挙動は非自明な MF リミットへ収束し、ニューロン数に依存しなくなる。
• 層間のニューロンを説明する確率的核表現で十分であり、MF リミットには条件付き期待値のみが必要。
• MF リミットは前向き・逆伝播の明示的形をもたらし、層ごとの測度 rho1^t および rho2^t の連成 PDE による進化方程式を提供する。
• 三層ネットワークの場合、MF 形式は有限ネットワークと時間的に変化する系を結びつけ、極限における SGD ダイナミクスを予測する。
• 実験は MF リミットの存在を検証し、ニューロン数が異なる場合でも大規模ネットワークの性能曲線が一致することを示す。