[論文レビュー] Mean-Field Analysis of Two-Layer Neural Networks: Non-Asymptotic Rates and Generalization Bounds.

Zixiang Chen, Yuan Cao+2 more|arXiv (Cornell University)|Feb 10, 2020

Stochastic Gradient Optimization Techniques参考文献 1被引用数 2

ひとこと要約

この論文は、ノイズあり勾配降下法と重み減衰を用いて訓練された2層ニューラルネットワークの平均場解析を提供し、非漸近的収束速度および一般化誤差バウンドを確立する。線形収束が特定の精度まで成立することを示し、一般化されたニューラルタングェントカーネル（NTK）の枠組みにおいてカーネル的挙動を示す。これにより、平均場解析とNTK解析を結びつける。

ABSTRACT

A recent line of work in deep learning theory has utilized the mean-field analysis to demonstrate the global convergence of noisy (stochastic) gradient descent for training over-parameterized two-layer neural networks. However, existing results in the mean-field setting do not provide the convergence rate of neural network training, and the generalization error bound is largely missing. In this paper, we provide a mean-field analysis in a generalized neural tangent kernel regime, and show that noisy gradient descent with weight decay can still exhibit a kernel-like behavior. This implies that the training loss converges linearly up to a certain accuracy in such regime. We also establish a generalization error bound for two-layer neural networks trained by noisy gradient descent with weight decay. Our results shed light on the connection between mean field analysis and the neural tangent kernel based analysis.

研究の動機と目的

• ノイズあり勾配降下法で訓練された2層ニューラルネットワークの平均場解析における非漸近的収束速度の確立により、分析のギャップを埋める。
• 重み減衰を伴う平均場設定下での2層ネットワークの一般化誤差バウンドを導出する。
• ノイズあり勾配降下法に重み減衰を組み込むことで、一般化されたニューラルタングェントカーネル（NTK）の枠組みでカーネル的挙動が保持されることを示す。
• 過パラメータ化された2層ネットワークにおける平均場解析とNTKに基づく解析との理論的接続を確立する。

提案手法

• 分析は、標準的な平均場仮定を越えた一般化されたニューラルタングェントカーネル（NTK）の枠組みで行われる。
• 著者たちは、ノイズあり勾配降下法による訓練中のネットワーク重みの進化をモデル化するために平均場極限のアプローチを用いる。
• 重み減衰を最適化ダイナミクスに組み込み、訓練プロセスを正則化し、一般化性能を向上させる。
• 平均場ダイナミクスを記述するFokker-Planck方程式におけるドリフト項と拡散項の分析により、収束速度を導出する。
• 平均場フレームワーク下で、ラデマッハ複雑度と集中不等式を用いて一般化誤差バウンドを確立する。
• 訓練ダイナミクスがカーネル領域にとどまることを示し、最適解の近傍への線形収束を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ノイズあり勾配降下法で訓練された2層ニューラルネットワークの平均場解析において、非漸近的収束速度を確立できるか？
• RQ2 平均場設定下で、重み減衰を伴うノイズあり勾配降下法で訓練された2層ネットワークの一般化誤差バウンドは何か？
• RQ3 重み減衰の導入が、平均場極限においてカーネル的挙動を保持するか？
• RQ4 過パラメータ化された2層ネットワークにおける平均場解析は、NTKフレームワークとどのように関連するか？

主な発見

• ノイズあり勾配降下法に重み減衰を適用した場合、平均場設定下で最適解の近傍への線形収束が達成され、特定の精度まで成立する。
• 訓練損失は線形に収束し、収束速度はネットワークの幅と学習率に依存する。
• 適切な仮定の下で、一般化誤差はO(1/√n)のオーダーでバウンドされる。ここでnは訓練サンプル数である。
• 重み減衰が適用されても、最適化ダイナミクスはカーネル領域にとどまる。これは、関数空間においてネットワークが線形モデルのように振る舞うことを示唆する。
• 平均場解析とNTKに基づく解析との間の理論的リンクを確立し、過パラメータ化領域で両者の一貫性を示した。