[論文レビュー] Limitations of the NTK for Understanding Generalization in Deep Learning

Nikhil Vyas, Yamini Bansal+1 more|arXiv (Cornell University)|Jun 20, 2022

Neural Networks and Applications被引用数 4

ひとこと要約

本稿は、ニューラルタングエント・カーネル（NTK）が深層学習の一般化の主要な側面、特にデータスケーリング則を捉えていないことを示している。無限幅ネットワークの理論的根拠に基づくプロキシであるにもかかわらず、CIFAR-10 や SVHN といった実世界のデータセットにおいて、有限幅ニューラルネットワークよりも、実験的および無限NTKのデータスケーリング指数が悪くなる。部分的微調整後ですら同様の傾向が見られ、NTKは訓練の全過程にわたり改善を続けることが判明しており、初期安定化を示すという主張とは矛盾する。したがって、実際のニューラルネットワークのサンプル効率を完全に説明することはできない。

ABSTRACT

The ``Neural Tangent Kernel'' (NTK) (Jacot et al 2018), and its empirical variants have been proposed as a proxy to capture certain behaviors of real neural networks. In this work, we study NTKs through the lens of scaling laws, and demonstrate that they fall short of explaining important aspects of neural network generalization. In particular, we demonstrate realistic settings where finite-width neural networks have significantly better data scaling exponents as compared to their corresponding empirical and infinite NTKs at initialization. This reveals a more fundamental difference between the real networks and NTKs, beyond just a few percentage points of test accuracy. Further, we show that even if the empirical NTK is allowed to be pre-trained on a constant number of samples, the kernel scaling does not catch up to the neural network scaling. Finally, we show that the empirical NTK continues to evolve throughout most of the training, in contrast with prior work which suggests that it stabilizes after a few epochs of training. Altogether, our work establishes concrete limitations of the NTK approach in understanding generalization of real networks on natural datasets.

研究の動機と目的

• ニューラルタングエント・カーネル（NTK）が、現実の有限幅ニューラルネットワークの一般化行動を正確に捉えているかどうかを調査すること。
• 無限および実験的NTKが、現実のニューラルネットワーク訓練で観察されるデータおよび時間スケーリング則をどの程度説明できるかを評価すること。
• NTKが訓練の初期に安定化するという仮定を疑い、表現学習の信頼できるプロキシとしての妥当性を検証すること。
• NTKフレームワークが、現代の深層学習モデルのサンプル効率および一般化性能をモデル化するうえでの根本的限界を特定すること。

提案手法

• 著者たちは、CIFAR-10 や SVHN といった実データセットを用い、有限幅ニューラルネットワーク、それに対応する無限NTK、および初期化時およびさまざまな訓練期間後の実測NTK（初期化時および訓練中）のデータスケーリング行動を比較した。
• log-logスケーリングプロットを用いて、モデルの性能が訓練データサイズおよび訓練時間の関数としてどのように変化するかを分析し、サンプル効率を定量化するためのスケーリング指数を測定した。
• 実験的NTKは複数の訓練ステップ（例：10エポック、32エポック）で抽出され、固定されたテストセットを用いて再訓練することで、その進化する表現能力を評価した。
• ニューラルネットワーク、無限NTK、実験的NTKの間で公平な比較を保つために、NTKパrameterization下で同一のハイパーパramータ（学習率、バッチサイズ、最適化手法）を採用した。
• 学習率、バッチサイズ、最適化手法のアブレーションスタディを実施し、主な結果の堅牢性を確認した。
• 時間スケーリング分析では、異なる訓練タイミングで抽出された実験的NTKのテスト誤差を追跡し、早期飽和ではなく継続的な改善が見られることを明らかにした。

実験結果

リサーチクエスチョン

• RQ1 実験的および無限NTKは、実世界のデータセットにおいて、有限幅ニューラルネットワークと同等のデータスケーリング指数を示すか？
• RQ2 実験的NTKを一定数のサンプルで事前学習することで、実際のニューラルネットワークとの一般化ギャップを埋めることができるか？
• RQ3 実験的NTKは訓練の初期に安定化するのか、それとも訓練全般にわたり改善を続けるのか？
• RQ4 実験的NTKの性能は時間経過とともにどのように変化するか？また、元のニューラルネットワークの完全なスケーリング行動を捉えられるか？

主な発見

• 有限幅ニューラルネットワークは、CIFAR-10 や SVHN といった実データセットにおいて、同一のハイパーパramータを用いても、初期状態の実験的および無限NTKよりも常に優れたデータスケーリング指数を達成する。
• ネットワーク幅が増加するにつれて、テスト性能は低下し、無限NTKの性能に近づく。これは、過剰パラメータ化が一般化を常に向上させるという一般的な信念とは矛盾する。
• 実験的NTKを固定数のサンプルで事前学習しても、それに対応するニューラルネットワークのデータスケーリング指数よりも悪く、表現能力の限界が持続することを示している。
• 実験的NTKは訓練の大部分にわたり一貫した改善を示し、学習速度の低下を示すフェーズ遷移は観測されず、従来の初期安定化の主張に反する。
• 任意の固定訓練時刻 $t$ で抽出されたカーネル $K^t_{\text{fit}}$ は、元のニューラルネットワークのデータスケーリングを再現できない。これは、正しいスケーリング則を捉えるには、訓練全過程が必要であることを示している。
• log-logプロットにおいて、訓練中に抽出された実験的NTKのテスト誤差は、一定の傾きで改善を示し、収束や遅滞の兆候が見られず、32エポックを過ぎても同様の傾向が続く。