[论文解读] Freeze and Chaos for DNNs: an NTK view of Batch Normalization, Checkerboard and Boundary Effects.

Arthur Paul Jacot, Franck Gabriel+1 more|arXiv (Cornell University)|Jul 11, 2019

Generative Adversarial Networks and Image Synthesis参考文献 17被引用 21

一句话总结

本文利用神经正切核（NTK）分析深度神经网络（DNNs），揭示了由深度和非线性性决定的两种训练模式——冻结与混沌。研究发现，批量归一化（Batch Normalization）和归一化非线性性可避免导致 DCGAN 中生成器崩溃的冻结模式，并提出一种基于 NTK 的层相关学习率与参数化方法，有效消除边界伪影并提升深层反卷积网络的收敛性。

ABSTRACT

In this paper, we analyze a number of architectural features of Deep Neural Networks (DNNs), using the so-called Neural Tangent Kernel (NTK). The NTK describes the training trajectory and generalization of DNNs in the infinite-width limit. In this limit, we show that for (fully-connected) DNNs, as the depth grows, two regimes appear: freeze (also known as order), where the (scaled) NTK converges to a constant (slowing convergence), and chaos, where it converges to a Kronecker delta (limiting generalization). We show that when using the scaled ReLU as a nonlinearity, we naturally end up in the freeze. We show that Batch Normalization (BN) avoids the freeze regime by reducing the importance of the constant mode in the NTK. A similar effect is obtained by normalizing the nonlinearity which moves the network to the chaotic regime. We uncover the same freeze and chaos modes in Deep Deconvolutional Networks (DC-NNs). The freeze regime is characterized by checkerboard patterns in the image space in addition to the constant modes in input space. Finally, we introduce a new NTK-based parametrization to eliminate border artifacts and we propose a layer-dependent learning rate to improve the convergence of DC-NNs. We illustrate our findings by training DCGANs using our setup. When trained in the freeze regime, we see that the generator collapses to a checkerboard mode. We also demonstrate numerically that the generator collapse can be avoided and that good quality samples can be obtained, by tuning the nonlinearity to reach the chaos regime (without using batch normalization).

研究动机与目标

• 通过神经正切核（NTK）理解批量归一化与非线性性归一化等架构组件对 DNN 训练动态的影响。
• 通过 NTK 分析识别并表征深层全连接网络与反卷积网络中的冻结与混沌模式。
• 通过调整非线性性或修改架构，避免冻结模式，从而解决 DCGAN 中的生成器崩溃问题。
• 通过一种新的基于 NTK 的参数化方法，消除深层反卷积网络中的边界伪影。
• 基于 NTK 理论，提出一种分层学习率策略，以提升训练收敛性。

提出的方法

• 通过 NTK 分析全连接 DNN 的无限宽度极限，推导出 NTK 收敛为常数（冻结）或克罗内克狄拉克函数（混沌）的条件。
• 证明使用缩放 ReLU 作为非线性激活函数会自然导致冻结模式，因其在 NTK 中主导常数项。
• 表明批量归一化可降低 NTK 中常数项的影响，从而有效将网络移至混沌模式。
• 将相同的 NTK 框架应用于深度反卷积网络（DC-NNs），揭示图像空间中出现的棋盘图案是冻结模式的特征。
• 提出一种新的基于 NTK 的参数化方法，通过修改核结构，成功消除 DC-NNs 中的边界伪影。
• 引入一种基于 NTK 理论的分层学习率策略，通过匹配 NTK 的深度相关行为，提升收敛性。

实验结果

研究问题

• RQ1 在深层全连接网络的无限宽度极限下，冻结与混沌两种训练模式分别是什么？它们如何由 NTK 产生？
• RQ2 批量归一化通过何种机制改变 NTK 的常数项，从而防止网络进入冻结模式？
• RQ3 若不使用批量归一化，仅对非线性性进行归一化，是否也能使网络进入混沌模式？
• RQ4 在深层反卷积网络的图像空间中，棋盘图案起什么作用？它们与冻结模式有何关联？
• RQ5 能否通过一种新的基于 NTK 的参数化方法消除深层反卷积网络中的边界伪影？分层学习率策略是否能提升收敛性？

主要发现

• 在使用缩放 ReLU 时，深层全连接网络的 NTK 在冻结模式下收敛为常数，导致收敛缓慢且泛化能力差。
• 批量归一化降低了 NTK 中常数项的贡献，有效避免了冻结模式，从而实现更快收敛。
• 对非线性性进行归一化而非使用批量归一化，同样可使网络进入混沌模式，此时 NTK 收敛为克罗内克狄拉克函数，从而改善泛化性能。
• 在生成模型的冻结模式下，深层反卷积网络的图像空间中会浮现棋盘图案，表明存在模式崩溃。
• 所提出的基于 NTK 的参数化方法成功消除了深层反卷积网络中的边界伪影，显著提升了生成样本质量。
• 基于 NTK 理论的分层学习率策略显著提升了深层反卷积网络的训练收敛性，尤其在混沌模式下效果更明显。