[論文レビュー] A Rigorous Framework for the Mean Field Limit of Multilayer Neural Networks

Phan-Minh Nguyen, Huy Tuan Pham|arXiv (Cornell University)|Jan 30, 2020

Stochastic Gradient Optimization Techniques被引用数 11

ひとこと要約

この論文は、深層多層ニューラルネットワークの平均場極限を厳密に数学的に枠組み化し、任意の幅のネットワークをモデル化するための新しいニューロン埋め込みを導入する。i.i.d. 初期化のもとで2層および3層ネットワークに対して非凸損失関数下での最適解へのグローバル収束を証明し、深層ネットワークにおける重みのi.i.d. 初期化に起因する退化問題を克服するため、新たな相関初期化スキーム「双方向多様性」を導入することで、4層以上を含む深層ネットワークに対しても収束を達成する。

ABSTRACT

We develop a mathematically rigorous framework for multilayer neural networks in the mean field regime. As the network's widths increase, the network's learning trajectory is shown to be well captured by a meaningful and dynamically nonlinear limit (the extit{mean field} limit), which is characterized by a system of ODEs. Our framework applies to a broad range of network architectures, learning dynamics and network initializations. Central to the framework is the new idea of a extit{neuronal embedding}, which comprises of a non-evolving probability space that allows to embed neural networks of arbitrary widths. Using our framework, we prove several properties of large-width multilayer neural networks. Firstly we show that independent and identically distributed initializations cause strong degeneracy effects on the network's learning trajectory when the network's depth is at least four. Secondly we obtain several global convergence guarantees for feedforward multilayer networks under a number of different setups. These include two-layer and three-layer networks with independent and identically distributed initializations, and multilayer networks of arbitrary depths with a special type of correlated initializations that is motivated by the new concept of extit{bidirectional diversity}. Unlike previous works that rely on convexity, our results admit non-convex losses and hinge on a certain universal approximation property, which is a distinctive feature of infinite-width neural networks and is shown to hold throughout the training process. Aside from being the first known results for global convergence of multilayer networks in the mean field regime, they demonstrate flexibility of our framework and incorporate several new ideas and insights that depart from the conventional convex optimization wisdom.

研究の動機と目的

• 幅が無限大に近づく際の多層ニューラルネットワークの平均場極限を数学的に厳密に枠組み化すること。
• i.i.d. 初期化下での深層ネットワーク（深さ≥4）における退化問題に取り組むこと。
• 凸最適化の仮定に依存せずに、非凸損失関数下での深層ネットワークに対するグローバル収束保証を確立すること。
• 双方向多様性として知られる新しい相関初期化スキームを導入し、その形式的定式化を図ることで、より深いアーキテクチャにおける収束を可能にすること。
• 無限幅ネットワークにおける普遍近似性を統合することで、従来の平均場結果を統一・拡張し、訓練中にもその性質が保持されることを示すこと。

提案手法

• 任意の幅のニューラルネットワークを埋め込む非時間変化の確率空間（ニューロン埋め込み）を導入し、その極限挙動の解析を可能にする。
• ネットワークの重み分布の時間的変化を記述する非線形常微分方程式（ODE）系として平均場極限を定義する。
• 有限幅ネットワークとその平均場極限との間のカップリング手続きを用いて、軌道の収束を証明する。
• やや弱い正則性条件のもとで、平均場ODEの解の存在および一意性を確立する。
• 訓練中にも保持される無限幅ネットワークの普遍近似性を用い、非凸損失関数下でも収束を可能にする。
• 深層ネットワーク（深さ≥4）における退化を防ぐために、i.i.d. 重みとは異なり相関を持つ初期化スキーム「双方向多様性」を導入し、グローバル収束を実現する。

実験結果

リサーチクエスチョン

• RQ1 任意のアーキテクチャと学習ダイナミクスを有する一般の多層ニューラルネットワークに対して、厳密な平均場極限を確立できるか？
• RQ2 なぜi.i.d. 初期化は深層ネットワーク（深さ≥4）で退化を引き起こし、その問題はどのように克服できるか？
• RQ3 凸性に依存せずに、非凸損失関数下での深層ネットワークに対するグローバル収束を証明できるか？
• RQ4 無限幅ネットワークの普遍近似性は、訓練ダイナミクスおよび収束にどのような役割を果たすか？
• RQ5 相関初期化（例：双方向多様性）は、i.i.d. 初期化が失敗する深層ネットワークにおいて、どのようにグローバル収束を可能にするか？

主な発見

• i.i.d. 初期化のもとで2層および3層ネットワークに対して、非凸損失関数下でも最適解へのグローバル収束が証明され、凸性に依存しない。
• i.i.d. 初期化のもとで4層以上を含むネットワークでは、強い退化効果が生じ、グローバル最適解への収束が妨げられることが示された。
• 新たな相関初期化スキーム「双方向多様性」が導入され、任意の深さの多層ネットワークにおいてグローバル収束を実現することが証明された。
• 無限幅ネットワークの普遍近似性が訓練中にも保持されることを示し、非凸損失関数下での収束を可能にする重要な要因であることが明らかになった。
• 平均場極限は非線形ODE系として厳密に特徴付けられ、有限幅ネットワークの軌道がこの極限に収束することが、新規のカップリング手続きにより確立された。
• このフレームワークは一般性を有し、広範なネットワークアーキテクチャ、学習ダイナミクス、初期化スキームに適用可能であり、深層ネットワークにおける平均場領域での初めてのグローバル収束結果をもたらした。