[論文レビュー] Mean Field Analysis of Neural Networks

Justin Sirignano, Konstantinos Spiliopoulos|arXiv (Cornell University)|May 2, 2018

Model Reduction and Neural Networks参考文献 14被引用数 32

ひとこと要約

この論文は、ネットワークサイズが大きく、訓練反復回数が非常に多い極限におけるニューラルネットワークの厳密な平均場解析を提供し、パラメータの経験的分布が非線形偏微分方程式の解に収束することを証明している。主な結果として、訓練済みパラメータが漸近的に独立になることが示され、混沌の伝播（propagation of chaos）の性質が確立された。

ABSTRACT

Machine learning has revolutionized fields such as image, text, and speech recognition. There's also growing interest in applying machine and deep learning ideas in engineering, robotics, biotechnology, and finance. Despite their immense success in practice, there is limited mathematical understanding of neural networks. We mathematically study neural networks in the asymptotic regime of simultaneously (A) large network sizes and (B) large numbers of stochastic gradient descent training iterations. We rigorously prove that the empirical distribution of the neural network parameters converges to the solution of a nonlinear partial differential equation. This result can be considered a law of large numbers for neural networks. In addition, a consequence of our analysis is that the trained parameters of the neural network asymptotically become independent, a property which is commonly called propagation of chaos.

研究の動機と目的

• ネットワークサイズが大きく、訓練反復回数が非常に多い極限におけるニューラルネットワークの挙動を数学的に理解すること。
• 大規模ニューラルネットワークにおける確率的勾配降下法のダイナミクスの厳密な理論的基盤を確立すること。
• ネットワークサイズと訓練ステップ数が増加する際のネットワークパラメータの経験的分布の極限挙動を分析すること。
• 訓練済みネットワークのパラメータが漸近的に独立になること、いわゆる混沌の伝播（propagation of chaos）の性質を証明すること。

提案手法

• ネットワーク幅と訓練反復回数の両方の極限におけるニューラルネットワークの分析。
• パラメータの経験的分布の時間発展を、非線形Fokker-Planck型偏微分方程式でモデル化。
• 確率論および統計力学の道具を用いて、経験的測度が決定的解に収束することを研究。
• 大規模ネットワーク極限におけるパラメータ間の相互作用を平均場近似で記述。
• 活性化関数およびデータ分布に対する弱い正則性条件のもとで、経験的分布が非線形PDEの解に収束することを確立。

実験結果

リサーチクエスチョン

• RQ1 ネットワークサイズが大きく、訓練が広範にわたる極限において、ニューラルネットワークパラメータの経験的分布はどのように振る舞うか？
• RQ2 大規模ニューラルネットワークにおける確率的勾配降下法のダイナミクスは、決定的PDEで記述可能か？
• RQ3 パラメータ分布が非線形PDEの解に収束するための条件は何か？
• RQ4 大規模かつ訓練済みのニューラルネットワークにおいて、パラメータの漸近的独立性（混沌の伝播）は出現するか？

主な発見

• ネットワークサイズが大きく、訓練が長時間にわたる極限において、ニューラルネットワークパラメータの経験的分布は非線形偏微分方程式の解に収束する。
• 活性化関数およびデータ分布に対する弱い正則性仮定のもとで収束が確立される。
• 極限におけるPDEは、確率的勾配降下法下でのパラメータ分布の決定的時間発展を記述する。
• 訓練済みパラメータは漸近的に独立になることが確認され、平均場極限における混沌の伝播の性質が裏付けられた。