[論文レビュー] Scaling Limit of Neural Networks with the Xavier Initialization and Convergence to a Global Minimum

Justin Sirignano, Konstantinos Spiliopoulos|arXiv (Cornell University)|Jul 9, 2019

Stochastic Gradient Optimization Techniques参考文献 16被引用数 7

ひとこと要約

本稿では、単層ニューラルネットワークがXavier初期化（$1/\sqrt{N}$スケーリング）を用いる場合、隠れユニット数$N$と訓練ステップ$TN$が大きくなる際、確率的常微分方程式（SDE）に分布収束することを確立している。有限$N$における非凸な最適化のランドスケープにもかかわらず、極限系は凸な二次的目的関数を最小化し、弱い条件下でもゼロの訓練損失を達成するグローバル最小値に収束する。

ABSTRACT

We analyze single-layer neural networks with the Xavier initialization in the asymptotic regime of large numbers of hidden units and large numbers of stochastic gradient descent training steps. The evolution of the neural network during training can be viewed as a stochastic system and, using techniques from stochastic analysis, we prove the neural network converges in distribution to a random ODE with a Gaussian distribution. The limit is completely different than in the typical mean-field results for neural networks due to the $\frac{1}{\sqrt{N}}$ normalization factor in the Xavier initialization (versus the $\frac{1}{N}$ factor in the typical mean-field framework). Although the pre-limit problem of optimizing a neural network is non-convex (and therefore the neural network may converge to a local minimum), the limit equation minimizes a (quadratic) convex objective function and therefore converges to a global minimum. Furthermore, under reasonable assumptions, the matrix in the limiting quadratic objective function is positive definite and thus the neural network (in the limit) will converge to a global minimum with zero loss on the training set.

研究の動機と目的

• 単層ニューラルネットワークが確率的勾配降下法でXavier初期化のもとで訓練される際のスケーリング極限を厳密に分析すること。
• 有限$N$におけるパラメータ間の相関関係があるにもかかわらず、$N \to \infty$ の際のニューラルネットワーク出力が収束するかという未解決の問いを解消すること。
• 有限$N$における最適化が非凸であるにもかかわらず、極限系が凸な二次的目的関数を最小化することを示すこと。
• 極限系がグローバル最小値にゼロの訓練損失で収束するための条件を確立すること。
• Xavier初期化の深層学習における経験的成功を理論的に裏付ける基盤を提供すること。特に、大$N$極限におけるグローバル最適解への収束と関連付けること。

提案手法

• 確率的解析と弱収束の技術を用いて、経験測度$\nu_k^N$とネットワーク出力$g_k^N$の同時進化を分析する。
• 連続時間での系の解析を目的として、スケーリングされたプロセス$h_t^N = g_{\lfloor Nt \rfloor}^N$と$\mu_t^N = \nu_{\lfloor Nt \rfloor}^N$を導入する。
• $(\mu_t^N, h_t^N)$の分布収束が、ガウス過程によって駆動される確率的常微分方程式の解に収束することを証明する。
• Prokhorovの定理とSkorokhod空間$D_E([0,T])$における相対コンパクト性を用いて、有限次元分布の弱収束を確立する。
• 極限の目的関数が、行列$A$を用いた二次形式として特徴付けられ、弱い仮定のもとで$A$が正定値であることを示す。
• 極限系が凸な二次的目的関数を最小化することを用いて、ゼロ損失でのグローバル最小値への収束を証明する。

実験結果

リサーチクエスチョン

• RQ1 パラメータの相関関係がある前処理モデルにおいても、$N \to \infty$ の際のニューラルネットワーク出力$g^N(x)$は収束するか？
• RQ2 Xavier初期化のもとで、大$N$領域における確率的勾配降下法のダイナミクスの極限的挙動は何か？
• RQ3 $1/\sqrt{N}$スケーリングを用いる本稿の極限系は、$1/N$スケーリングを用いる通常の平均場モデルとどのように異なるか？
• RQ4 有限$N$問題が非凸であるにもかかわらず、極限系が凸な目的関数を最小化できることを示せるか？
• RQ5 極限の二次的目的関数が正定値である条件は何か？これにより、ゼロ訓練損失でのグローバル最小値への収束が保証される。

主な発見

• ニューラルネットワーク出力$g_k^N(x)$は、$N \to \infty$ の際、確率的常微分方程式の解に分布収束する。極限は初期分布$\mu_0$とデータ分布$\pi$に依存する。
• 極限系は凸な二次的目的関数を最小化するため、有限$N$問題の非凸性にもかかわらずグローバル最小値に収束する。
• 極限の二次的目的関数における行列$A$は、例えばデータ点における特徴マップ$\sigma(W \cdot x)$の線形独立性といった弱い仮定のもとで正定値である。
• 行列$A$が正定値である場合、目的関数の凸性と厳密な最小化性により、極限系はほとんど確実にゼロの訓練損失を達成する。
• グローバル最小値への収束は極限において保証され、Xavier初期化の深層学習における成功の理論的根拠を提供する。
• $1/\sqrt{N}$スケーリングは、通常の平均場モデルにおける$1/N$スケーリングとは根本的に異なる極限をもたらし、非退化な確率的常微分方程式の極限を生じる。