[論文レビュー] Label-Aware Neural Tangent Kernel: Toward Better Generalization and Local Elasticity

Shuxiao Chen, Hangfeng He+1 more|arXiv (Cornell University)|Jan 1, 2020

Neural Networks and Applications被引用数 8

ひとこと要約

本稿では、Hoeffding分解を用いてラベル依存成分をニューラルタングエントロピー核（NTK）に組み込むことで、過パラメータ化されたニューラルネットワークにおける汎化性能と局所的弾性を向上させるため、ラベル認識型ニューラルタングエントロピー核（LANTK）を提案する。得られたカーネルは、実際のNNの挙動を模倣する上で、標準NTKを上回る性能を示し、ニューラルネットワークの訓練ダイナミクスとより良好に一致している。

ABSTRACT

As a popular approach to modeling the dynamics of training overparametrized neural networks (NNs), the neural tangent kernels (NTK) are known to fall behind real-world NNs in generalization ability. This performance gap is in part due to the extit{label agnostic} nature of the NTK, which renders the resulting kernel not as extit{locally elastic} as NNs~\citep{he2019local}. In this paper, we introduce a novel approach from the perspective of \emph{label-awareness} to reduce this gap for the NTK. Specifically, we propose two label-aware kernels that are each a superimposition of a label-agnostic part and a hierarchy of label-aware parts with increasing complexity of label dependence, using the Hoeffding decomposition. Through both theoretical and empirical evidence, we show that the models trained with the proposed kernels better simulate NNs in terms of generalization ability and local elasticity.

研究の動機と目的

• ニューラルタングエントロピー核（NTK）と実際の過パラメータ化されたニューラルネットワークとの間の汎化ギャップを解消すること。
• 標準NTKがラベルに依存しない性質を持つため、局所的弾性とモデルの適応性が制限される問題を克服すること。
• ラベル認識型成分を統合したカーネルフレームワークを構築し、ニューラルネットワークの訓練ダイナミクスをよりよく模倣すること。
• 標準NTKと比較して、汎化性能および局所的弾性の向上を理論的および実験的に検証すること。

提案手法

• Hoeffding分解を用いてラベルに依存しない成分とラベルに依存する成分に分離するラベル認識型カーネル構築法を提案する。
• ラベル依存性の複雑さを段階的に高めた階層的ラベル認識部品を設計し、ラベル間の相互作用を柔軟にモデル化可能にする。
• 複数段階のラベル認識成分をラベルに依存しないNTKに重ね合わせることで、最終的なLANTKを構成する。
• Hoeffding分解を用いることで、各ラベル認識成分がラベルに特化した構造的依存関係を的確に捉えることを保証する。
• 提案されたLANTKを用いてモデルを学習し、標準NTKおよび実際のニューラルネットワークと比較して、汎化性能と局所的弾性を評価する。
• 理論的分析と実験的評価を実施し、ニューラルネットワーク挙動の模倣性能の向上を検証する。

実験結果

リサーチクエスチョン

• RQ1 NTKにラベル認識型成分を組み込むことで、過パラメータ化されたネットワークにおける汎化性能が向上するか？
• RQ2 訓練中にラベル認識型の性質がカーネルの局所的弾性にどのように影響を与えるか？
• RQ3 ラベル認識型成分の階層的構造は、標準NTKと比較して、どの程度モデリングの忠実性を向上させるか？
• RQ4 提案されたLANTKは、ラベルに依存しないNTKと比較して、実際のニューラルネットワークの汎化性能および誘導的バイアスをよりよく模倣できるか？
• RQ5 ラベル認識型カーネル成分の性能向上には、どのような理論的根拠があるか？

主な発見

• 提案されたラベル認識型カーネルは、回帰および分類の両タスクにおいて、標準NTKと比較して優れた汎化性能を示した。
• LANTKで訓練されたモデルは、局所的弾性が向上し、実際の過パラメータ化されたニューラルネットワークの挙動とより一致した。
• ラベル認識型成分の階層的構造により、複雑なラベル依存関係のモデリングが可能になり、カーネルの表現力が向上した。
• 理論的分析により、ラベル認識型成分がより柔軟で適応可能なカーネル構造を実現することが確認された。
• 実験的結果から、LANTKモデルは標準NTKよりも汎化性能が高く、実際のニューラルネットワークに近い性能に近づいた。