[论文解读] Label-Aware Neural Tangent Kernel: Toward Better Generalization and Local Elasticity
本文提出标签感知神经正切核（LANTK），通过在核函数中引入依赖标签的分量，利用Hoeffding分解改进过参数化神经网络的泛化能力和局部弹性。所提出的核函数在模拟真实神经网络行为方面优于标准神经正切核，与神经网络训练动态表现出更优的一致性。
As a popular approach to modeling the dynamics of training overparametrized neural networks (NNs), the neural tangent kernels (NTK) are known to fall behind real-world NNs in generalization ability. This performance gap is in part due to the extit{label agnostic} nature of the NTK, which renders the resulting kernel not as extit{locally elastic} as NNs~\citep{he2019local}. In this paper, we introduce a novel approach from the perspective of \emph{label-awareness} to reduce this gap for the NTK. Specifically, we propose two label-aware kernels that are each a superimposition of a label-agnostic part and a hierarchy of label-aware parts with increasing complexity of label dependence, using the Hoeffding decomposition. Through both theoretical and empirical evidence, we show that the models trained with the proposed kernels better simulate NNs in terms of generalization ability and local elasticity.
研究动机与目标
- 解决神经正切核（NTK）与真实过参数化神经网络之间的泛化差距。
- 克服标准NTK的标签无关性，该特性限制了局部弹性和模型适应能力。
- 构建一种整合标签感知分量的核框架，以更准确地模拟神经网络训练动态。
- 从理论和实证两方面验证所提方法在泛化能力和局部弹性方面相较于标准NTK的性能提升。
提出的方法
- 利用Hoeffding分解提出一种标签感知核构造方法，将核函数分离为标签无关与标签相关两部分。
- 设计分层的标签感知组件，逐步增加对标签依赖关系的复杂度，实现对标签交互关系的灵活建模。
- 将标签无关的NTK与多层标签感知组件叠加，形成最终的LANTK。
- 利用Hoeffding分解确保每个标签感知组件能捕捉特定且结构化的标签依赖关系。
- 使用所提出的LANTK训练模型，评估其在泛化能力和局部弹性方面相较于标准NTK和真实神经网络的表现。
- 开展理论分析与实证评估，验证所提方法在模拟神经网络行为方面的改进效果。
实验结果
研究问题
- RQ1在NTK中引入标签感知分量是否能提升过参数化网络的泛化性能？
- RQ2标签感知性在训练过程中如何影响核函数的局部弹性？
- RQ3标签感知组件的分层结构在多大程度上提升了模型拟合精度，相较于标准NTK？
- RQ4所提出的LANTK是否能比标签无关的NTK更准确地模拟真实神经网络的泛化能力和归纳偏置？
- RQ5标签感知核分量性能提升的理论依据是什么？
主要发现
- 所提出的标签感知核在回归与分类任务中均展现出优于标准NTK的泛化性能。
- 使用LANTK训练的模型表现出更强的局部弹性，更贴近真实过参数化神经网络的行为。
- 标签感知组件的分层结构能够更好地建模复杂的标签依赖关系，提升核函数的表达能力。
- 理论分析表明，标签感知分量有助于构建更具灵活性和适应性的核结构。
- 实证结果表明，LANTK模型的泛化能力优于标准NTK，并且更接近真实神经网络的性能表现。
更好的研究，从现在开始
从论文设计到论文写作，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。