[論文レビュー] Mean-field Behaviour of Neural Tangent Kernel for Deep Neural Networks

Soufiane Hayou, Randal Douc+1 more|arXiv (Cornell University)|Sep 25, 2019

Stochastic Gradient Optimization Techniques参考文献 40被引用数 23

ひとこと要約

この論文は、広大で深いニューラルネットワークにおけるニューラルタングエントロピー・カーネル（NTK）に、初期化および活性化関数が与える影響を調査する。標準的なNTKフレームワークは非常に深いネットワークにおける性能を説明できないことが示され、初期化を「混沌の縁」に近づけるとNTKのダイナミクスが顕著に変化することが明らかになった。実験により、線形近似を超えた広大なネットワークの挙動について、理論的予測が裏付けられた。

ABSTRACT

Recent work by Jacot et al. (2018) has shown that training a neural network of any kind with gradient descent in parameter space is strongly related to kernel gradient descent in function space with respect to the Neural Tangent Kernel (NTK). Lee et al. (2019) built on this result by establishing that the output of a neural network trained using gradient descent can be approximated by a linear model for wide networks. In parallel, a recent line of studies (Schoenholz et al. 2017; Hayou et al. 2019) has suggested that a special initialization, known as the Edge of Chaos, improves training. In this paper, we bridge the gap between these two concepts by quantifying the impact of the initialization and the activation function on the NTK when the network depth becomes large. In particular, we show that the performance of wide deep neural networks cannot be explained by the NTK regime and we provide experiments illustrating our theoretical results.

研究の動機と目的

• 広大で深いニューラルネットワークにおける初期化および活性化関数がニューラルタングエントロピー・カーネル（NTK）に与える影響を理解すること。
• 非常に深いネットワークの学習ダイナミクスをNTKフレームワークが適切に説明できるかどうかを調査すること。
• NTKフレームワークと、学習を向上させることが知られる「混沌の縁」における初期化の間隔を埋めること。
• 標準的なNTK近似が深層アーキテクチャにおいて破綻することを理論的および実験的根拠で示すこと。

提案手法

• 平均場理論を用いて、無限に広い幅と大きな深さの極限におけるNTKを分析し、重みおよび活性化の分布をモデル化する。
• 特に混沌の縁における初期化に注目し、さまざまな初期化スケームにおけるNTKの漸近的挙動を導出する。
• 深さに依存するスケーリングを考慮に入れながら、訓練中のNTKの進化を追跡する平均場近似を用いる。
• 深さおよび活性化関数の非線形性の効果を捉える再帰的定式化をNTKに適用する。
• さまざまな活性化関数を用いた広大で深い順方向ネットワークにおける実験を通じて、理論的予測を検証する。
• 特に混沌の縁に近い初期化において、一般化性能および学習性能を異なる初期化スケームと比較する。

実験結果

リサーチクエスチョン

• RQ1 初期化の選択が非常に深く広いニューラルネットワークにおけるNTKにどのように影響を与えるか？
• RQ2 ネットワークの深さが増すに従い、NTKフレームワークの有効性はどの程度保たれるか？
• RQ3 活性化関数が深層アーキテクチャにおけるNTKダイナミクスをどのように形作るか？
• RQ4 混沌の縁における初期化は、標準的な初期化と比較して、根本的に異なるNTK挙動を引き起こすか？
• RQ5 NTKフレームワークは、深層ネットワークにおける一般化および学習ダイナミクスを正確に予測できるか？

主な発見

• 幅が大きくても、深さに依存するNTKのスケーリングのため、標準的なNTKフレームワークは非常に深いネットワークで破綻する。
• 混沌の縁における初期化は、特に深層アーキテクチャにおいて、標準的初期化とは著しく異なるNTK挙動を引き起こす。
• 深層ネットワークではNTKが定常的ではなく、深さに依存するようになるため、訓練中における定常カーネルの仮定が無効になる。
• 理論的分析により、NTKが非自明な極限に収束するのは特定の初期化条件下でのみであり、すべての深さで一様に成立するわけではない。
• 実験により、混沌の縁で初期化されたネットワークは一般化性能が高く、広大な極限においても特徴的なNTKダイナミクスを示すことが確認された。
• 広大で深いネットワークの性能は、線形化されたNTKモデルでは説明できないため、深層学習における非線形カーネルダイナミクスの必要性が示された。