[論文レビュー] Neural networks as Interacting Particle Systems: Asymptotic convexity of the Loss Landscape and Universal Scaling of the Approximation Error

Grant M. Rotskoff, Eric Vanden‐Eijnden|arXiv (Cornell University)|Jan 1, 2018

Machine Learning in Materials Science参考文献 16被引用数 103

ひとこと要約

この論文は、深層学習における確率的勾配降下法（SGD）を、相互作用する粒子系として再解釈し、幅が大きい極限において、損失関数の形状が漸近的に凸になり、近似誤差が入力次元に依存せず常に $ o(n^{-1}) $ にスケーリングすることを証明している。解析により、パラメータの経験的分布に対する大数の法則と中心極限定理が確立され、訓練ダイナミクスにおける普遍的なスケーリング則とノイズの定量化が可能になった。

ABSTRACT

Neural networks, a central tool in machine learning, have demonstrated remarkable, high fidelity performance on image recognition and classification tasks. These successes evince an ability to accurately represent high dimensional functions, potentially of great use in computational and applied mathematics. That said, there are few rigorous results about the representation error and trainability of neural networks, as well as how they scale with the network size. Here we characterize both the error and scaling by reinterpreting the standard optimization algorithm used in machine learning applications, stochastic gradient descent, as the evolution of a particle system with interactions governed by a potential related to the objective or loss function used to train the network. We show that, when the number $n$ of parameters is large, the empirical distribution of the particles descends on a convex landscape towards a minimizer at a rate independent of $n$. We establish a Law of Large Numbers and a Central Limit Theorem for the empirical distribution, which together show that the approximation error of the network universally scales as $o(n^{-1})$. Remarkably, these properties do not depend on the dimensionality of the domain of the function that we seek to represent. Our analysis also quantifies the scale and nature of the noise introduced by stochastic gradient descent and provides guidelines for the step size and batch size to use when training a neural network. We illustrate our findings on examples in which we train neural network to learn the energy function of the continuous 3-spin model on the sphere. The approximation error scales as our analysis predicts in as high a dimension as $d=25$.

研究の動機と目的

• 広いニューラルネットワークにおける近似誤差のスケーリングとネットワークサイズとの関係を理解すること。
• SGDの粒子系解釈を用いて、ニューラルネットワークのトレーニング可能性と最適化ダイナミクスを分析すること。
• 入力次元に依存しない普遍的なスケーリング則を近似誤差について確立すること。
• 確率的勾配降下法がもたらすノイズを定量化し、最適なステップサイズとバッチサイズのガイドラインを導出すること。

提案手法

• 確率的勾配降下法を、$ n $ 個の相互作用する粒子の系の時間発展として再解釈し、各粒子をネットワークのパラメータに対応させる。
• 損失関数を粒子間の相互作用を支配するポテンシャル関数としてモデル化し、経験的分布のダイナミクスを用いて解析を可能にする。
• 大$ n $ 極限における漸近的解析を適用し、パラメータの経験的分布に対する大数の法則と中心極限定理を導出する。
• 大$ n $ 極限において損失関数の形状が漸近的に凸になることを証明し、$ n $ に依存しない速度で最小値に収束することを保証する。
• 粒子系の極限挙動を用いて、普遍的な近似誤差スケーリング $ o(n^{-1}) $ を導出する。
• 平均場極限からのずれを分析することでSGDのノイズを定量化し、実用的な訓練ガイドラインを導出する。

実験結果

リサーチクエスチョン

• RQ1 大$ n $ 範囲において、ニューラルネットワークの近似誤差はパラメータ数 $ n $ に対してどのようにスケーリングされるか？
• RQ2 パラメータ数が増加するに従い、損失関数の形状は漸近的に凸になるか？
• RQ3 SGDのダイナミクスは、普遍的な統計的性質を持つ相互作用粒子系として厳密にモデル化可能か？
• RQ4 SGDのノイズはバッチサイズとステップサイズにどのように依存し、訓練の安定性にどのような影響を与えるか？
• RQ5 入力次元に依存しない普遍的な誤差スケーリング $ o(n^{-1}) $ は、近似される関数の次元にかかわらず成立するか？

主な発見

• 大$ n $ 極限において、ニューラルネットワークの近似誤差は入力次元に依存せず、普遍的に $ o(n^{-1}) $ にスケーリングされる。
• 損失関数の形状は $ n \to \infty $ の極限で漸近的に凸になり、$ n $ に依存しない速度で最小値に収束することが保証される。
• パラメータの経験的分布に対して大数の法則と中心極限定理が成り立つため、広いネットワークにおける平均場近似が正当化される。
• SGDがもたらすノイズが定量化され、ステップサイズとバッチサイズに適切に依存することが示され、訓練の最適化が可能になる。
• 高次元問題（$ d = 25 $）における数値的検証により、理論的予測と一致する $ o(n^{-1}) $ の誤差挙動が確認された。
• 解析により、近似誤差の普遍的スケーリングが関数定義域の次元に依存しないことが明らかになった。これは、高次元関数近似において重要な洞察である。