[论文解读] Disentangling Trainability and Generalization in Deep Neural Networks

Xiao, Lechao, Jeffrey Pennington+1 more|arXiv (Cornell University)|Dec 30, 2019

Stochastic Gradient Optimization Techniques被引用 14

一句话总结

本文通过分析宽深层神经网络的神经正切核（NTK）谱，解耦了可训练性与泛化能力。研究发现，卷积神经网络（CNN）中的池化层通过降低NTK的条件数和主部特征值，显著提升了泛化性能；而尽管完全连接网络（FCN）能记忆训练数据，却无法实现良好泛化。

ABSTRACT

A longstanding goal in the theory of deep learning is to characterize the conditions under which a given neural network architecture will be trainable, and if so, how well it might generalize to unseen data. In this work, we provide such a characterization in the limit of very wide and very deep networks, for which the analysis simplifies considerably. For wide networks, the trajectory under gradient descent is governed by the Neural Tangent Kernel (NTK), and for deep networks the NTK itself maintains only weak data dependence. By analyzing the spectrum of the NTK, we formulate necessary conditions for trainability and generalization across a range of architectures, including Fully Connected Networks (FCNs) and Convolutional Neural Networks (CNNs). We identify large regions of hyperparameter space for which networks can memorize the training set but completely fail to generalize. We find that CNNs without global average pooling behave almost identically to FCNs, but that CNNs with pooling have markedly different and often better generalization performance. These theoretical results are corroborated experimentally on CIFAR10 for a variety of network architectures and we include a colab notebook that reproduces the essential results of the paper.

研究动机与目标

• 表征在无限宽度与深度极限下，深度神经网络架构实现可训练与良好泛化性能的条件。
• 通过分析不同架构下神经正切核（NTK）的谱，将可训练性与泛化能力解耦。
• 探究为何某些架构（如带池化的CNN）在具有相似记忆能力的情况下，泛化性能优于完全连接网络（FCN）。
• 提供理论与实证验证，阐明超参数与架构选择（如池化、激活函数）对泛化性能的影响。

提出的方法

• 对完全连接网络（FCN）和卷积神经网络（CNN）在大深度极限下的NTK谱进行理论分析，涵盖是否使用全局平均池化的情况。
• 推导NTK最大与最小特征值及条件数的渐近表达式，其形式涉及网络深度、宽度与超参数。
• 利用NTK框架对梯度下降动力学进行解析建模，从而精确预测泛化性能。
• 比较NTK与NNGP（神经网络高斯过程）的预测结果，识别泛化性能崩溃或持续存在的深度尺度。
• 在CIFAR-10上通过SGD进行实证验证，涵盖多种超参数配置，包括权重初始化方差与深度。
• 系统性地扫描偏置方差与正则化强度，以检验理论预测的鲁棒性。

实验结果

研究问题

• RQ1 神经正切核（NTK）的谱如何决定宽深层神经网络的可训练性与泛化能力？
• RQ2 为何带全局平均池化的CNN在均可记忆训练集的情况下，泛化性能优于完全连接网络？
• RQ3 与深层网络中的展平操作相比，池化在改变NTK特征值分布与条件数方面起到何种作用？
• RQ4 权重初始化方差与深度等超参数如何影响NTK与NNGP框架中的泛化深度尺度？
• RQ5 是否存在一个瞬态深度区间，使得带池化的CNN在性能上优于或劣于其完全连接的对应结构？

主要发现

• 带全局平均池化的CNN的条件数近似按 $ d imes l imes ilde{ ho}^{-l} $ 增长，其中 $ d $ 为池化大小，表明其相比FCN具有更高的稳定性和泛化能力。
• 与FCN相比，池化CNN中NTK的主部特征值降低为原来的 $ d $ 分之一，直接提升了泛化性能。
• 在混沌相中，池化使对角线NTK项的增长速度减缓 $ d $ 倍，使预测器 $ P( heta) $ 提升 $ d $ 倍，从而在瞬态区间内使CNN-P优于CNN-F。
• 在有序相中，池化CNN中NTK的条件数增加 $ d $ 倍，表明存在一个瞬态区间，此时FCN优于带池化的CNN。
• NTK的可泛化深度尺度为 $ ilde{ ho}^{-1} = -1/( ext{log}( ho_c^*) - ext{log}( ho_1)) $，其值小于NNGP的对应值，表明NTK动力学中泛化失败发生得更早。
• CIFAR-10上的实证结果验证了理论预测：带池化的网络在广泛超参数范围内均表现出更优的泛化性能，且泛化深度尺度对偏置方差与正则化强度的变化具有鲁棒性。