[论文解读] Extrapolation and Spectral Bias of Neural Nets with Hadamard Product: a Polynomial Net Study

Yongtao Wu, Zhenyu Zhu+3 more|arXiv (Cornell University)|Sep 16, 2022

Neural Networks and Applications被引用 6

一句话总结

本文推导了多项式神经网络（PNNs）的有限宽度神经正切核（NTK），PNNs 是一类包含Hadamard积的神经网络，并证明其等价于核回归。研究揭示 PNNs 展现出更优的外推能力以及比标准网络更慢的 NTK 特征值衰减，从而能够更快地学习高频函数。

ABSTRACT

Neural tangent kernel (NTK) is a powerful tool to analyze training dynamics of neural networks and their generalization bounds. The study on NTK has been devoted to typical neural network architectures, but it is incomplete for neural networks with Hadamard products (NNs-Hp), e.g., StyleGAN and polynomial neural networks (PNNs). In this work, we derive the finite-width NTK formulation for a special class of NNs-Hp, i.e., polynomial neural networks. We prove their equivalence to the kernel regression predictor with the associated NTK, which expands the application scope of NTK. Based on our results, we elucidate the separation of PNNs over standard neural networks with respect to extrapolation and spectral bias. Our two key insights are that when compared to standard neural networks, PNNs can fit more complicated functions in the extrapolation regime and admit a slower eigenvalue decay of the respective NTK, leading to a faster learning towards high-frequency functions. Besides, our theoretical results can be extended to other types of NNs-Hp, which expand the scope of our work. Our empirical results validate the separations in broader classes of NNs-Hp, which provide a good justification for a deeper understanding of neural architectures.

研究动机与目标

• 为分析具有 Hadamard 积的神经网络（NNs-Hp），特别是多项式神经网络（PNNs），填补理论空白，使用神经正切核（NTK）。
• 通过完整的 NTK 框架（包括收敛性和稳定性）严格建立 PNNs 梯度下降训练与核回归之间的等价性。
• 研究并比较 PNNs 与标准神经网络的外推行为与谱偏差。
• 将理论洞见扩展至更广泛的 NNs-Hp 类别，如乘法滤波网络和非局部乘法网络。
• 通过实证验证 NNs-Hp 在学习复杂函数、算术外推和视觉类比任务中的理论优势。

提出的方法

• 通过权重和激活梯度的解析计算，推导出具有高阶乘积交互的 PNNs 的有限宽度 NTK 公式。
• 通过界定训练过程中经验 NTK 的稳定性及其在初始化时的收敛性，建立 PNNs 训练与核回归之间等价性的严格证明。
• 分析 PNNs NTK 的谱特性，特别是其特征值衰减速率，以表征归纳偏差。
• 将理论框架应用于比较 PNNs 与标准全连接 ReLU 网络在外推与频率学习方面的表现。
• 在合成数据集和真实世界数据集上进行实证评估，测试其在算术问题和视觉类比任务中的外推性能。
• 将分析扩展至其他 NNs-Hp 架构，证明所推导的 NTK 框架具有更广泛的应用性。

实验结果

研究问题

• RQ1 多项式神经网络（PNNs）的 NTK 与标准全连接网络的 NTK 有何不同？
• RQ2 PNNs 在多大程度上能泛化到训练分布之外，特别是在外推非线性函数方面？
• RQ3 PNNs 的 NTK 特征值衰减速率与标准网络相比如何，这对学习高频函数有何含义？
• RQ4 PNNs 的理论 NTK 框架能否扩展至其他具有 Hadamard 积的架构，如非局部乘法网络？
• RQ5 在需要分布外泛化的任务中，如算术或视觉类比外推，NNs-Hp 展现出哪些实证优势？

主要发现

• 通过有限宽度 NTK 框架，严格证明 PNNs 等价于核回归，且在初始化时收敛性与训练过程中的稳定性均有严密界。
• PNNs 展现出更优的外推能力，能够学习超出训练分布的非线性函数，而标准 ReLU 网络则受限于线性外推。
• PNNs 的 NTK 特征值衰减速率慢于标准网络，从而能够更快地学习高频分量。
• 实证结果证实，包括 PNNs 在内的 NNs-Hp 在学习复杂函数、算术外推和视觉类比任务中优于标准网络。
• PNNs 的 NTK 理论框架可扩展至其他 NNs-Hp 架构，如乘法滤波网络和非局部乘法网络，从而拓宽其适用范围。
• 本研究为理解 NNs-Hp 的归纳偏差与泛化行为，特别是在分布外与基于频率的学习场景中，提供了理论基础。