[論文レビュー] A Generalized Neural Tangent Kernel Analysis for Two-layer Neural Networks

Zixiang Chen, Yuan Cao+2 more|arXiv (Cornell University)|Feb 10, 2020

Neural Networks and Applications参考文献 63被引用数 16

ひとこと要約

この論文は、ノイズあり勾配降下法と重み減衰を用いて訓練される2層ニューラルネットワークに、ニューラルトランジットカーネル（NTK）フレームワークを拡張し、正則化された訓練でも依然としてカーネルに類似たダイナミクスを示すことを示している。著者らは、近似的に最適な解への線形収束を確立し、初期化分布からのχ²ダイバージェンスに基づいた一般化誤差バウンドを導出しており、従来のNTK理論が重みが初期化に近いまま保たれると仮定するという制限を克服している。

ABSTRACT

A recent breakthrough in deep learning theory shows that the training of over-parameterized deep neural networks can be characterized by a kernel function called extit{neural tangent kernel} (NTK). However, it is known that this type of results does not perfectly match the practice, as NTK-based analysis requires the network weights to stay very close to their initialization throughout training, and cannot handle regularizers or gradient noises. In this paper, we provide a generalized neural tangent kernel analysis and show that noisy gradient descent with weight decay can still exhibit a "kernel-like" behavior. This implies that the training loss converges linearly up to a certain accuracy. We also establish a novel generalization error bound for two-layer neural networks trained by noisy gradient descent with weight decay.

研究の動機と目的

• 標準的なNTK理論の限界に対処する。同理論はネットワーク重みが初期化に近いまま保たれると仮定しており、正則化や勾配ノイズを扱えない。
• NTKフレームワークを重み減衰とノイズあり勾配降下法を含むより現実的な訓練設定に拡張する。
• 過パラメータ化された2層ニューラルネットワークがこれらの正則化された設定下で、具体的には線形収束と一般化バウンドという理論的保証を確立する。
• パラメータが初期化に近いという要件を、平均場極限における分布の類縁性に緩和する。

提案手法

• 2層ニューラルネットワークの訓練中にパラメータ分布の進化をモデル化するために平均場解析を用いる。
• ノイズあり勾配降下法と重み減衰に伴うパラメータ分布を記述する連続時間のフォッカー・プランク方程式を分析し、一般化されたニューラルトランジットカーネルを導出する。
• 進化するパラメータ分布と初期分布とのKLダイバージェンスの微分方程式を導出し、適切な条件下でその値が減少することを示す。
• MeirとZhang（2003）の証明技法を離散分布から連続分布へ拡張し、一般化バウンドを導出する。
• 平均場状態におけるカーネルに類似た振る舞いのダイナミクスを分析することで、訓練損失が所定の精度まで線形収束することを確立する。
• 無限に広いネットワークが重み減衰とノイズのもとで学習可能な関数のクラスを、初期化分布からのχ²ダイバージェンスで特徴づけ、一般化バウンドにおける明示的正則化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 重み減衰と勾配ノイズを伴う設定において、ニューラルトランジットカーネルフレームワークを拡張できるか。この場合、パラメータが初期化から大きく離れる可能性がある。
• RQ2 重み減衰とノイズあり勾配降下法は、過パラメータ化された2層ネットワークでも依然としてカーネルに類似た訓練ダイナミクスを示すか。
• RQ3 標準的なNTK領域を超えて、重み減衰とノイズで訓練された2層ネットワークに対して、どのような一般化誤差バウンドを導出できるか。
• RQ4 平均場極限における分布の類縁性に置き換えることで、パラメータが初期化に近いという要件を緩和できるか。
• RQ5 初期化分布からのχ²ダイバージェンスの使用が、正則化下での広いニューラルネットワークの一般化能力にどのように影響するか。

主な発見

• ノイズあり勾配降下法と重み減衰により、ネットワークパラメータが初期化から著しく離れていても、訓練損失が所定の精度まで線形収束する。
• 一般化誤差バウンドは、最終的なパラメータ分布と初期化との間のχ²ダイバージェンスに基づいて導出されており、正則化の明示的取り扱いが可能である。
• 本研究の分析は、パラメータの逸脱という技術的障壁を、パラメータの近接性ではなく分布の安定性に注目することで克服している。
• 正則化（重み減衰など）を明示的に反映しているため、標準的なNTKバウンドよりもタイトで現実的である。
• 証明技法は、MeirとZhang（2003）の離散分布への適用を連続分布へ拡張したものであり、統計的学習理論において独立に価値がある可能性がある。
• 理論的結果は連続時間極限で妥当であり、Meiら（2018）の近似結果を用いて離散時間設定への拡張がなされている。