[論文レビュー] Global Convergence of Second-order Dynamics in Two-layer Neural Networks

Walid Krichene, Kenneth Paulo Caluya+1 more|arXiv (Cornell University)|Jul 14, 2020

Model Reduction and Neural Networks参考文献 36被引用数 6

ひとこと要約

本稿は、平均場極限下での2層ニューラルネットワークにおける重み付きボール法（heavy ball method）— 2階微分方程式に基づく最適化ダイナミクス—のグローバル収束を確立する。ダイナミクスから導かれる非線形運動的Fokker-Planck方程式を解析し、リャプノフ汎関数を用いることで、著者らは漸近的収束をグローバル最適解へと証明する。これは、Wasserstein勾配流との関連に依存せずに、1階勾配流の先行研究を、モーメンタムに基づく手法へと拡張するものである。

ABSTRACT

Recent results have shown that for two-layer fully connected neural networks, gradient flow converges to a global optimum in the infinite width limit, by making a connection between the mean field dynamics and the Wasserstein gradient flow. These results were derived for first-order gradient flow, and a natural question is whether second-order dynamics, i.e., dynamics with momentum, exhibit a similar guarantee. We show that the answer is positive for the heavy ball method. In this case, the resulting integro-PDE is a nonlinear kinetic Fokker Planck equation, and unlike the first-order case, it has no apparent connection with the Wasserstein gradient flow. Instead, we study the variations of a Lyapunov functional along the solution trajectories to characterize the stationary points and to prove convergence. While our results are asymptotic in the mean field limit, numerical simulations indicate that global convergence may already occur for reasonably small networks.

研究の動機と目的

• 2層ニューラルネットワークにおける2階微分方程式に基づく最適化ダイナミクス、特に重み付きボール法が平均場極限下でグローバル収束を達成するかを調査すること。
• 1階勾配流の収束に関する先行研究を、モーメンタムに基づく最適化ダイナミクスへと拡張すること。
• 重み付きボール法の平均場極限を分析し、Wasserstein勾配流との直接的な関連がない非線形運動的Fokker-Planck方程式が得られることを示すこと。
• Wasserstein勾配流との接続が存在しないにもかかわらず、リャプノフ汎関数のアプローチを用いてグローバル最適解への収束を確立すること。

提案手法

• ネットワークパラメータ θ ∈ ℝ^d 上の確率測度 μ を用いて、2層ニューラルネットワークを測度値最適化問題として定式化する。
• 一定の減衰を伴う2階微分方程式として重み付きボールダイナミクスをモデル化し、平均場極限において非線形運動的Fokker-Planck方程式が得られることを示す。
• 解の軌道に沿った変動を特徴づけるリャプノフ汎関数を定義し、定常点を特定する。
• リャプノフ汎関数が軌道に沿って単調に減少することを証明し、グローバル最小化子への収束を示す。
• 正則化項 g(θ) がコンfining（束縛的）であること、リスク関数 R が凸かつFréchet微分可能であることの仮定を用いて、平均場ダイナミクスの適切な定式化を保証する。
• 先行研究の2次損失設定から、凸設定への条件の一般化を行い、汎関数微分の一様等連続性と有界性を保証する。

実験結果

リサーチクエスチョン

• RQ1 重み付きボール法—2階最適化ダイナミクス—は、平均場極限下の2層ニューラルネットワークにおいて、グローバル最適解へとグローバルに収束するか？
• RQ2 1階の場合と同様にWasserstein勾配流との接続に依存せずに、2階ダイナミクスの収束を確立できるか？
• RQ3 リャプノフ汎関数は、平均場領域における重み付きボール法の定常点を特徴づけ、収束を証明するために果たす役割は何か？
• RQ4 正則化項とリスク関数に関する仮定を2次損失から凸設定へ一般化した場合、収束保証がどのように維持されるか？
• RQ5 数値シミュレーションは、有限幅のネットワークでもグローバル収束が既に発生する可能性をどの程度示唆しているか？

主な発見

• Wasserstein勾配流との接続が存在しないにもかかわらず、平均場極限下で2層ニューラルネットワークにおける重み付きボール法はグローバル最適解へ収束する。
• 重み付きボール法の平均場ダイナミクスは、Wasserstein勾配流とは根本的に異なる非線形運動的Fokker-Planck方程式に支配される。
• 軌道に沿って単調に減少するリャプノフ汎関数が構築され、これがグローバル最小化子への収束を証明する。
• やや強い仮定のもとで、正則化リスクの汎関数微分は一様等連続的かつ有界であることが保証され、平均場ダイナミクスの適切な定式化が成立する。
• 結果は平均場極限において漸近的であるが、数値的シミュレーションにより、比較的小さな幅のネットワークでもグローバル収束が既に現れる可能性があると示唆されている。
• 2次損失の場合、先行研究の仮定 (B1) および (B2) は、一般化された仮定 (A4) を含意するため、本フレームワークが既存の結果と整合的であることが検証された。