[論文レビュー] Deep learning versus kernel learning: an empirical study of loss landscape geometry and the time evolution of the Neural Tangent Kernel

Stanislav Fort, Gintare Karolina Dziugaite+4 more|arXiv (Cornell University)|Oct 28, 2020

Stochastic Gradient Optimization Techniques参考文献 36被引用数 22

ひとこと要約

本論文は、損失ランドスケープの幾何構造とニューラルタングエントランスカーネル（NTK）の時間的変化を分析することで、深層学習とカーネル学習を大規模な実験的に比較した。その結果、最初の2〜3エポックの間に普遍的な混沌状態から安定状態への遷移が見られ、NTKは急速に有用な特徴を学習し、初期NTKに対して3倍の性能向上を達成し、最終的な訓練の盆地を決定づける。その後、訓練は安定化し、全ネットワーク性能に15〜45％の訓練時間で達する。

ABSTRACT

In suitably initialized wide networks, small learning rates transform deep neural networks (DNNs) into neural tangent kernel (NTK) machines, whose training dynamics is well-approximated by a linear weight expansion of the network at initialization. Standard training, however, diverges from its linearization in ways that are poorly understood. We study the relationship between the training dynamics of nonlinear deep networks, the geometry of the loss landscape, and the time evolution of a data-dependent NTK. We do so through a large-scale phenomenological analysis of training, synthesizing diverse measures characterizing loss landscape geometry and NTK dynamics. In multiple neural architectures and datasets, we find these diverse measures evolve in a highly correlated manner, revealing a universal picture of the deep learning process. In this picture, deep network training exhibits a highly chaotic rapid initial transient that within 2 to 3 epochs determines the final linearly connected basin of low loss containing the end point of training. During this chaotic transient, the NTK changes rapidly, learning useful features from the training data that enables it to outperform the standard initial NTK by a factor of 3 in less than 3 to 4 epochs. After this rapid chaotic transient, the NTK changes at constant velocity, and its performance matches that of full network training in 15% to 45% of training time. Overall, our analysis reveals a striking correlation between a diverse set of metrics over training time, governed by a rapid chaotic to stable transition in the first few epochs, that together poses challenges and opportunities for the development of more accurate theories of deep learning.

研究の動機と目的

• 有限幅のネットワークにおける深層ネットワークの訓練ダイナミクス、損失ランドスケープの幾何構造、NTKの進化の相互作用を理解すること。
• 非線形な深層学習が、極めて低い学習率であっても線形化されたNTK訓練を上回る理由を調査すること。
• アーキテクチャやデータセットにかかわらず普遍的なダイナミクスパターンを特定し、理論的知見および訓練設計に役立てる。
• NTKの時間的変化を測定し、その変化が損失ランドスケープの構造と訓練性能にどのように相関するかを測定すること。

提案手法

• 複数のアーキテクチャとデータセットを用い、損失ランドスケープの幾何構造、NTKダイナミクス、カーネル速度、誤差バリアサイズといった多様な指標を同時に測定する。
• 初期化時および中間の訓練ポイントでのニューラルタングエントランスカーネル（NTK）を用いた線形化訓練を実施し、カーネルの進化を追跡する。
• 2次までのテイラー展開近似を用いて、線形化を超える非線形効果を評価する。
• 固定された初期NTKとデータ依存の学習済みNTKを用いた、非線形訓練と線形化NTK訓練を比較する。
• 子ネットワークの生成による関数空間の多様性を分析し、盆地の探索と安定性を評価する。
• カーネル速度と誤差バリアサイズの時間的変化を追跡し、性能向上と相関をとらえる。

実験結果

リサーチクエスチョン

• RQ1 深層ネットワークの訓練中に損失ランドスケープの幾何構造はどのように変化するのか。また、その変化が最終的な一般化性能に果たす役割は何か。
• RQ2 訓練中にニューラルタングエントランスカーネル（NTK）はどの程度変化するのか。また、初期NTKと比較して性能に与える影響は何か。
• RQ3 無限幅における理論的保証があるにもかかわらず、極めて低い学習率であっても非線形訓練が依然として線形化NTK訓練を上回る理由は何か。
• RQ4 NTKの時間的変化、カーネル速度、および損失ランドスケープにおける誤差バリアの存在との関係は何か。
• RQ5 最初の2〜3エポック以内の混沌状態の過渡期は、深層学習における盆地の運命を決定づける重要な時期と見なせるか。

主な発見

• 深層ネットワークの最終的な損失盆地は、2〜3エポック以内に決定づけられる。この期間は急速な混沌状態の過渡期である。
• NTKは最初の3〜4エポックで急速に変化し、データから有用な特徴を学習し、4エポック未満で初期NTKを3倍の性能で上回る。
• 極めて低い学習率であっても、非線形訓練は線形化NTK訓練を上回り続ける。これは有限幅におけるNTK理論の限界を示している。
• 誤差バリアサイズ、カーネル速度、非線形性能優位性は、初期訓練段階で密接に相関して変化する。
• 初期の混沌状態の過渡期を過ぎると、NTKは一定の速度で進化し、全ネットワーク訓練の性能に15％〜45％の訓練時間（例：200エポック中30〜90エポック）で達する。
• 関数空間の多様性は、盆地内よりも盆地間で高くなるが、安定段階ではSGDの確率的性質によって制限される。