[論文レビュー] Trainability and Accuracy of Neural Networks: An Interacting Particle System Approach

Grant M. Rotskoff, Eric Vanden‐Eijnden|arXiv (Cornell University)|May 2, 2018

Markov Chains and Monte Carlo Methods参考文献 36被引用数 96

ひとこと要約

この論文はニューラルネットワークのトレーニングを相互作用粒子系として再構成し、ネットワーク幅が大きい場合、パラメータの経験分布がグローバルミニマムへ収束する誤差は O(n^{-1}) に拡張することを示す；また SGD のノイズと訓練の指針も分析する。

ABSTRACT

Neural networks, a central tool in machine learning, have demonstrated remarkable, high fidelity performance on image recognition and classification tasks. These successes evince an ability to accurately represent high dimensional functions, but rigorous results about the approximation error of neural networks after training are few. Here we establish conditions for global convergence of the standard optimization algorithm used in machine learning applications, stochastic gradient descent (SGD), and quantify the scaling of its error with the size of the network. This is done by reinterpreting SGD as the evolution of a particle system with interactions governed by a potential related to the objective or "loss" function used to train the network. We show that, when the number $n$ of units is large, the empirical distribution of the particles descends on a convex landscape towards the global minimum at a rate independent of $n$, with a resulting approximation error that universally scales as $O(n^{-1})$. These properties are established in the form of a Law of Large Numbers and a Central Limit Theorem for the empirical distribution. Our analysis also quantifies the scale and nature of the noise introduced by SGD and provides guidelines for the step size and batch size to use when training a neural network. We illustrate our findings on examples in which we train neural networks to learn the energy function of the continuous 3-spin model on the sphere. The approximation error scales as our analysis predicts in as high a dimension as $d=25$.

研究の動機と目的

• トレーニング後のニューラルネットワーク近似誤差の厳密な理解の必要性を動機づける。
• 広いニューラルネットワークにおける GD/SGD ダイナミクスを分析する相互作用粒子系フレームワークを導入する。
• ネットワークパラメータの経験分布がグローバルミニマムへ収束することを示し、近似誤差のスケーリングを定量化する。
• 有限幅における揺らぎを特徴づけるために empirical distribution の LLN と CLT の結果を導出する。
• SGD のノイズ構造に基づく学習率とバッチサイズの実践的ガイドラインを提供する。

提案手法

• パラメータを loss による相互作用ポテンシャルをもつ粒子として表現する。
• パラメータの経験分布の進化方程式を導出し、それが 2-Wasserstein 距離測度で凸風景を下ることを示す。
• Law of Large Numbers を確立する：f_t^{(n)} が f_t に収束し、非線形 Liouville/McKean–Vlasov 型方程式を解く。
• f_t^{(n)} の f_t 周りの揺らぎに関して O(n^{-1/2}) の揺らぎを持つ中心極限定理を証明し、長時間で O(n^{-1}) へ癒合することを議論する。
• 確率的勾配降下法とオンライン SGD へ分析を拡張し、ネットワーク幅 n に対するバッチサイズ P のスケーリング関係を導出する。
• ガウス核と単一隠れ層ネットワークを用いた高次元の球面 3-spin モデルで結果を可視化する。

実験結果

リサーチクエスチョン

• RQ1 ネットワークユニット数 n が大きい場合の SGD/GD の収束挙動はどうなるのか、訓練誤差は n に対してどのようにスケールするのか。
• RQ2 訓練ダイナミクスをパラメータの経験分布を通じて理解でき、LLN および CLT の結果を得られるか。
• RQ3 勾配降下法と SGD はノイズ構造でどう異なるのか、また実践的な学習率とバッチサイズの影響はどうか。
• RQ4 極限分布的アプローチは普遍的な近似特性をもたらし、高次元でのネットワーク設計に指針を与えるか。
• RQ5 具体的なモデル（例：球面上の 3-spin）での訓練ダイナミクスの定量的挙動は理論予測と一致するか。

主な発見

• パラメータの経験分布は n に依存しない時間スケールでグローバルミニマムへ収束する。
• 近似誤差は次元 d に関係なく n → ∞ のとき普遍的に O(n^{-1}) にスケールする。
• LLN 限界の周りの揺らぎは有限 n に対して O(n^{-1/2}) であり、長時間で O(n^{-1}) へ癒える。
• オンライン SGD でバッチサイズ P = O(n^{2α}) (α>0) の場合、LLN と一部の CLT は依然として成立する；α ∈ (0,1) では精度が O(n^{-α}) に悪化するが α ≥ 1 では元の速度を回復する。
• このフレームワークは SGD の学習率とバッチサイズを最適な誤差を達成するための実践的ガイドラインを提供する。
• 3-spin モデルを用いた数値例（次元 d=25 まで）で、ラジアル基底と単一隠れ層ネットワークの両方で予測される誤差スケーリングを示す。