[論文レビュー] Global Convergence of Three-layer Neural Networks in the Mean Field Regime

Huy Tuan Pham, Phan-Minh Nguyen|arXiv (Cornell University)|May 11, 2021

Stochastic Gradient Optimization Techniques参考文献 29被引用数 4

ひとこと要約

この論文は、平均場的状態における確率的勾配降下法の下で、正則化のない3層フィードフォワードニューラルネットワークに対して、グローバル収束を確立する。著者らは、重ね合わさった対称性群を扱える、新たなニューロン埋め込みフレームワークを導入し、凸性に依存せずに、代数的トポロジーの議論を用いて有限時間内に普遍近似性を達成する性質を活用することで、グローバル最適解への収束を証明する。

ABSTRACT

In the mean field regime, neural networks are appropriately scaled so that as the width tends to infinity, the learning dynamics tends to a nonlinear and nontrivial dynamical limit, known as the mean field limit. This lends a way to study large-width neural networks via analyzing the mean field limit. Recent works have successfully applied such analysis to two-layer networks and provided global convergence guarantees. The extension to multilayer ones however has been a highly challenging puzzle, and little is known about the optimization efficiency in the mean field regime when there are more than two layers. In this work, we prove a global convergence result for unregularized feedforward three-layer networks in the mean field regime. We first develop a rigorous framework to establish the mean field limit of three-layer networks under stochastic gradient descent training. To that end, we propose the idea of a extit{neuronal embedding}, which comprises of a fixed probability space that encapsulates neural networks of arbitrary sizes. The identified mean field limit is then used to prove a global convergence guarantee under suitable regularity and convergence mode assumptions, which -- unlike previous works on two-layer networks -- does not rely critically on convexity. Underlying the result is a universal approximation property, natural of neural networks, which importantly is shown to hold at extit{any} finite training time (not necessarily at convergence) via an algebraic topology argument.

研究の動機と目的

• 平均場的状態における3層ニューラルネットワークのグローバル収束を確立すること。ここで最適化ダイナミクスは非線形極限に従う。
• 多層ネットワークにおける重ね合わさった対称性群の概念的課題を扱うこと。これは、従来の平均場解析を妨げる要因である。
• 確率的勾配降下法で訓練される3層ネットワークの平均場極限を厳密に取り扱うフレームワークを構築すること。
• 従来の2層解析とは異なり、凸性に依存せずにグローバル収束を証明すること。
• 収束時だけでなく、任意の有限訓練時においても成り立つ普遍近似性を示すこと。

提案手法

• ニューロン埋め込みを導入する。これは任意の幅のニューラルネットワークを要約する固定された確率空間であり、平均場極限の解析を可能にする。
• Sznitman (1991) や Mei et al. (2018) にインspiredされた測度論的枠組みを用いて、有限幅ネットワークとその平均場極限を厳密に結びつける。
• 定量的近似バインディングを確立する。平均場極限は、$n_{\min}^{-1}\log n_{\max} \ll 1$ のとき、データ次元に依存せずにネットワークを近似する。
• 代数的トポロジーの議論を用いて、訓練の任意の有限時刻において有効な普遍近似性を証明する。
• 正則性および収束モードの仮定の下で、平均場極限がグローバル最適解に収束することを証明する。凸性の仮定は行わない。
• Chizat & Bach (2018) の技術を適応するが、新フレームワークを用いて、非凸な3層設定に拡張する。

実験結果

リサーチクエスチョン

• RQ1 凸性が欠如する中で、平均場的状態における3層ニューラルネットワークのグローバル収束を確立できるか？
• RQ2 多層ネットワークにおける重ね合わさった対称性群は、平均場極限においてどのように形式的に取り扱えるか？
• RQ3 収束時だけでなく、有限の訓練時においても3層ネットワークに普遍近似性が成立するか？
• RQ4 平均場極限が、訓練中における有限幅ネットワークをどれほど正確に近似するかを保証する条件は何か？
• RQ5 従来の2層解析とは異なり、凸性に依存せずに収束保証を証明できるか？

主な発見

• ニューロン埋め込みフレームワークは、複数の対称性群が同時に作用する状況下でも、3層ネットワークの平均場極限を的確に捉えることに成功した。
• 平均場極限は、$n_{\min}^{-1}\log n_{\max} \ll 1$ のとき、データ次元に依存せずに有限幅ネットワークを良好に近似する。
• 適切な正則性および収束モードの仮定の下で、平均場極限はグローバル最適解に収束する。
• 証明は凸性に依存せず、従来の2層平均場解析とは対照的に、概念的進展を示している。
• 任意の有限訓練時において成り立つ普遍近似性が、代数的トポロジーの議論により確立され、収束結果の根幹をなす。
• フレームワークはi.i.d.初期化に限らず、非i.i.d.な初期化スキームにも対応可能であり、従来の定式化の限界を克服する。