[论文解读] A Fine-Grained Spectral Perspective on Neural Networks

Greg Yang, Hadi Salman|arXiv (Cornell University)|Jul 24, 2019

Gaussian Processes and Bayesian Inference参考文献 59被引用 42

一句话总结

本文研究共轭核（CK）和神经切线核（NTK）谱，以理解初始化、训练动力学和超参数效应，揭示非普适的简单性偏差、深度权衡以及学习率预测。

ABSTRACT

Are neural networks biased toward simple functions? Does depth always help learn more complex features? Is training the last layer of a network as good as training all layers? How to set the range for learning rate tuning? These questions seem unrelated at face value, but in this work we give all of them a common treatment from the spectral perspective. We will study the spectra of the *Conjugate Kernel, CK,* (also called the *Neural Network-Gaussian Process Kernel*), and the *Neural Tangent Kernel, NTK*. Roughly, the CK and the NTK tell us respectively "what a network looks like at initialization" and "what a network looks like during and after training." Their spectra then encode valuable information about the initial distribution and the training and generalization properties of neural networks. By analyzing the eigenvalues, we lend novel insights into the questions put forth at the beginning, and we verify these insights by extensive experiments of neural networks. We derive fast algorithms for computing the spectra of CK and NTK when the data is uniformly distributed over the boolean cube, and show this spectra is the same in high dimensions when data is drawn from isotropic Gaussian or uniformly over the sphere. Code replicating our results is available at github.com/thegregyang/NNspectra.

研究动机与目标

• 研究神经网络是否通过 CK 和 NTK 的谱性质偏好简单函数。
• 分析超参数（深度、方差、激活函数）如何影响谱以及对学习和泛化的意义。
• 从特征复杂性的角度，考察仅训练最后一层与训练所有层之间的权衡。
• 利用谱理论预测最大不发散的学习率并在分布和真实数据上验证。

提出的方法

• 为无穷宽的多层感知机定义 CK 和 NTK，并给出它们的归纳核递推。
• 证明 CK/NTK 作为高斯过程的核以及线性化训练动力学的核，从而实现谱分析。
• 在布尔立方上使用傅里叶基底对 CK/NTK 进行对角化，以按阶数获得特征值。
• 引入分数方差作为一种启发式，用于将谱内容与函数可学习性联系起来。
• 在布尔立方、球面、高斯分布以及真实数据集（MNIST、CIFAR10）上经验检验谱预测。
• 开发并使用布尔立方和高维设置下 CK/NTK 谱的快速计算方法。

实验结果

研究问题

• RQ1 CK 和 NTK 谱是否揭示跨架构与深度的普遍简单性偏置？
• RQ2 深度、激活函数以及权重/偏置方差如何影响前几特征值与按阶数的分数方差？
• RQ3 在仅训练最后一层与训练所有层以学习不同复杂度的特征时，何时更可取？
• RQ4 谱性质是否能预测跨数据分布和数据集的 SGD 实用学习率上限（最大学习率）？

主要发现

• 简单性偏置并非普遍存在；对于 S 型（sigmoidal）网络，这一偏置可以被深度和权重方差削弱或消除，尽管在按偶/奇阶的特征值排序中仍存在一个较弱的形式。
• 更深的网络可以学习更复杂的特征，但存在一个最佳深度，超过该深度时对高阶分量的性能会下降。
• NTK 通常比 CK 给高阶分量分配更多的方差，在训练所有层时更有利于学习更复杂的特征。
• 对于给定的阶数，使分数方差最大的最佳深度会随着阶数上升而增加，表明深度对更高复杂度特征的帮助更多，但也仅到某个点。
• 该框架在跨分布和真实数据中对最大 SGD 学习率给出准确的定性预测，且在一定程度上具有定量预测，与经验结果一致。
• 在 MNIST 和 CIFAR10 上的经验结果与布尔立方及高维理论一致，预测了谱和训练行为。