[論文レビュー] A Mean Field View of the Landscape of Two-Layers Neural Networks

Mei Song, Andrea Montanari+1 more|arXiv (Cornell University)|Apr 18, 2018

Model Reduction and Neural Networks参考文献 23被引用数 44

ひとこと要約

論文は二層ニューラルネットワーク上の確率的勾配降下法(SGD)の平均場スケーリング極限を導出し、Wasserstein空間での勾配流としてSGDを記述する非線形PDE（分布動力学）を定式化し、SGDがいくつかの設定でほぼ最適な汎化性能に到達し得ることを示す収束結果を証明する。

ABSTRACT

Multi-layer neural networks are among the most powerful models in machine learning, yet the fundamental reasons for this success defy mathematical understanding. Learning a neural network requires to optimize a non-convex high-dimensional objective (risk function), a problem which is usually attacked using stochastic gradient descent (SGD). Does SGD converge to a global optimum of the risk or only to a local optimum? In the first case, does this happen because local minima are absent, or because SGD somehow avoids them? In the second, why do local minima reached by SGD have good generalization properties? In this paper we consider a simple case, namely two-layers neural networks, and prove that -in a suitable scaling limit- SGD dynamics is captured by a certain non-linear partial differential equation (PDE) that we call distributional dynamics (DD). We then consider several specific examples, and show how DD can be used to prove convergence of SGD to networks with nearly ideal generalization error. This description allows to 'average-out' some of the complexities of the landscape of neural networks, and can be used to prove a general convergence result for noisy SGD.

研究の動機と目的

• ワンパスのSGD regimeの下で、二層ニューラルネットワークにおける学習の動機づけと分析。
• N→∞、ε→0 の極限でSGDを記述する分布動力学PDEを導入する。
• PDEが対称性をどのように活用し、ランドスケープ分析をいかに単純化するかを示す。
• 代表的なデータ/モデルにおいて、ほぼ最適な汎化へ収束することを示す。
• 有限-Nおよびノイズ付きSGDの拡張と収束保証を提供する。

提案手法

• population risk を R_N(θ) = R# + 2∫V(θ)ρ(dθ) + ∫∫U(θ,θ′)ρ(dθ)ρ(dθ′) と表現する。
• 分布動力学PDE を導出する: ∂tρ_t = 2ξ(t) ∇·(ρ_t ∇Ψ(θ;ρ_t)) with Ψ = V + ∫U(θ,θ′)ρ(dθ′).
• 無限-N 極限に対する Wasserstein 勾配流との接続を示す。
• ノイズ付きSGD に拡張し拡散補強PDE を得る: ∂tρ_t = 2ξ(t)∇·(ρ_t ∇Ψ_λ(θ;ρ_t)) + 2ξ(t)/β Δθρ_t.
• propagation of chaos を証明する: SGD からの経験的分布が指定されたスケーリングの下で ρ_t に収束する。
• R_N(θ^k) と R(ρ_t) を結ぶ非漸近的境界を提供する。
• フレームワークを等方/非等方ガウスデータとReLU活性化に適用して、収束と失敗モードを示す。

実験結果

リサーチクエスチョン

• RQ1 二層ネットワーク上のSGDはグローバル最適解へ収束するのか、それとも局所的な極小値が典型的なデータ分布下で持続するのか？
• RQ2 平均場PDEは大規模N極限でSGDのダイナミクスを正確に記述できるか、その一般化への影響は何か？
• RQ3 対称性を持つデータ分布（等方 Gaussians/非等方 Gaussians）は、極限ダイナミクスと収束にどのような影響を与えるか？
• RQ4 分布動力学フレームワーク内で、有限-Nおよびノイズ付きSGDの保証としてどのようなものを確立できるか？
• RQ5 どのような条件下でSGDは悪い局所 minima から抜け出し、ほぼ理想的な汎化を達成できるか？

主な発見

• 二層ネットワークのSGDダイナミクスは、スケーリング極限（N→∞, ε→0）において非線形PDE（分布動力学）で表現される。
• 分布動力学はWasserstein空間での勾配流として作用し、局所質量保存を伴い極限リスクR(ρ)を最小化する。
• ノイズ付きSGDでは、ダイナミクスがエントロピー正則化された自由エネルギーの最小化解に収束し、Nに依存しない多くのステップでグローバル収束をもたらす。
• いくつかの構成例（中心化された等方・非等方ガウス、様々な活性化関数）において、SGDはほぼ理想的な汎化を持つネットワークへ収束し、有限-N の挙動はPDEの予測と密接に一致する。
• 理論は有限-N リスクと極限リスクを結ぶ非漸近的誤差境界を提供し、DDと拡散DD の固定点と安定性特性を説明する。
• 数値実験は静的（ミニマイザー）と動的（収束軌道）の両方でDDの予測を裏付ける。