[論文レビュー] What can linearized neural networks actually say about generalization?

Guillermo Ortiz-Jiménez, Seyed-Mohsen Moosavi-Dezfooli+1 more|arXiv (Cornell University)|Jun 12, 2021

Neural Networks and Applications参考文献 44被引用数 14

ひとこと要約

この論文は、深層学習における一般化の実用的妥当性を、さまざまなタスクにおいてニューラルネットワークとその線形化された対応物を比較することで、ニューラル接線カーネル（NTK）近似の実用的妥当性を調査する。その結果、NTK整合性は学習の複雑さを予測できるが、非線形ダイナミクスがネットワークを線形近似より劣った性能にすること—カーネル回転が過学習を引き起こすため—が明らかになった。これは、非線形モデルが常にカーネルを上回るとの仮定に疑問を呈する。

ABSTRACT

For certain infinitely-wide neural networks, the neural tangent kernel (NTK) theory fully characterizes generalization, but for the networks used in practice, the empirical NTK only provides a rough first-order approximation. Still, a growing body of work keeps leveraging this approximation to successfully analyze important deep learning phenomena and design algorithms for new applications. In our work, we provide strong empirical evidence to determine the practical validity of such approximation by conducting a systematic comparison of the behavior of different neural networks and their linear approximations on different tasks. We show that the linear approximations can indeed rank the learning complexity of certain tasks for neural networks, even when they achieve very different performances. However, in contrast to what was previously reported, we discover that neural networks do not always perform better than their kernel approximations, and reveal that the performance gap heavily depends on architecture, dataset size and training task. We discover that networks overfit to these tasks mostly due to the evolution of their kernel during training, thus, revealing a new type of implicit bias.

研究の動機と目的

• 実世界のニューラルネットワークにおける一般化を予測するNTK近似の実用的妥当性を評価すること。
• 非線形性があるにもかかわらず、ニューラルネットワークが線形化近似より劣ることがある理由を調査すること。
• 訓練中のカーネルの進化が一般化行動に与える影響を特定すること。
• 初期状態でのNTK整合性が、異なるタスクの学習の複雑さをランク付けできるかどうかを同定すること。
• 特にカーネル回転を含む、非線形ダイナミクスによって導入されるインダクティブバイアスを解明すること。

提案手法

• 同一のデータだが異なるラベル関数を用いた複数のタスクにおいて、深層ニューラルネットワークとその線形化近似（1次テイラー展開による）の性能を体系的に比較する。
• 初期状態におけるターゲット関数と経験的NTKとの整合性を測定し、学習の複雑さを予測する。
• 固有関数分解を用いて、訓練中のNTKの回転ダイナミクスを分析するため、NTKの進化を追跡する。
• 異なる訓練エポック（例：0, 100）で抽出したカーネル行列を用い、同じタスク上で線形化モデルの性能低下または向上を評価する。
• 一般化行動を分離するために、学習済み特徴の符号関数（例：$\operatorname{sign}(\phi_{400}(\mathbf{x}))$）などの制御されたタスクを用いる。
• カーネル回転の主方向を分析し、過学習およびテスト精度の低下と相関をとる。

実験結果

リサーチクエスチョン

• RQ1 初期状態におけるNTK整合性は、深層ネットワークの異なるタスクの相対的な学習複雑さを予測できるか？
• RQ2 非線形性があるにもかかわらず、ニューラルネットワークが線形化近似より劣ることがある条件は何か？
• RQ3 訓練中の経験的NTKの進化が、一般化および過学習にどのように影響するか？
• RQ4 カーネル回転が深層ネットワークの非線形的優位性または劣位性に果たす役割は何か？
• RQ5 ネットワークとその線形近似の性能差は、アーキテクチャ、データセットサイズ、またはタスク構造によって決定されるか？

主な発見

• 初期状態におけるターゲット関数と経験的NTKとの整合性は、多様なタスクにおいて相対的な学習複雑さを信頼性高く予測する。
• ニューラルネットワークは、特定のタスクでは線形化近似より劣ることがあり、特に訓練タスクがネットワークのインダクティブバイアスと整合しない場合に顕著である。
• 線形化モデルの性能は、不整合なタスクで非線形事前学習を行った後、カーネルを抽出すると急速に低下する。これは、非線形ダイナミクスが一般化を損なうことを示している。
• 訓練中、経験的NTKは主に1つの主軸に沿って回転し、これは過学習およびテスト精度の低下と強く相関している。
• カーネル回転メカニズムは、ターゲット関数の構造に応じて、ネットワークが訓練ラベルに速やかに収束しても一般化が悪くなる理由を説明する。
• 本研究は、新たなタイプのインダクティブバイアスを明らかにした：訓練中にNTKが単一の方向に回転する傾向であり、タスクに応じて一般化を強化または損なう可能性がある。