[论文解读] Luck Matters: Understanding Training Dynamics of Deep ReLU Networks

Yuandong Tian, Tina Jiang+2 more|arXiv (Cornell University)|May 31, 2019

Generative Adversarial Networks and Image Synthesis参考文献 41被引用 14

一句话总结

本文提出一个理论框架，采用教师-学生设置以解释深度ReLU网络中的训练动态。结果表明，与教师节点初始重叠度高的学生节点收敛更快，而无关节点的输出权重衰减至零，从而通过‘幸运’初始化和赢家通吃动态机制，解释了过参数化、隐式正则化和彩票现象。

ABSTRACT

We analyze the dynamics of training deep ReLU networks and their implications on generalization capability. Using a teacher-student setting, we discovered a novel relationship between the gradient received by hidden student nodes and the activations of teacher nodes for deep ReLU networks. With this relationship and the assumption of small overlapping teacher node activations, we prove that (1) student nodes whose weights are initialized to be close to teacher nodes converge to them at a faster rate, and (2) in over-parameterized regimes and 2-layer case, while a small set of lucky nodes do converge to the teacher nodes, the fan-out weights of other nodes converge to zero. This framework provides insight into multiple puzzling phenomena in deep learning like over-parameterization, implicit regularization, lottery tickets, etc. We verify our assumption by showing that the majority of BatchNorm biases of pre-trained VGG11/16 models are negative. Experiments on (1) random deep teacher networks with Gaussian inputs, (2) teacher network pre-trained on CIFAR-10 and (3) extensive ablation studies validate our multiple theoretical predictions.

研究动机与目标

• 理解随机梯度下降（SGD）为何能在非凸深度学习问题中找到良好解。
• 解释过参数化ReLU网络的泛化能力。
• 统一解释过参数化、隐式正则化和彩票现象等谜题现象。
• 提供一个理论框架，将初始化重叠度与学生节点的收敛速度及权重衰减联系起来。

提出的方法

• 采用教师-学生训练设置，其中学生网络相对于固定的ReLU教师网络实现过参数化。
• 将节点的激活区域定义为 E_j = {x : f_j(x) > 0}，并分析从学生节点到教师节点的梯度流。
• 证明初始重叠度高的学生节点（即激活区域重叠度高）收敛速度显著更快（定理4）。
• 在两层网络中，证明与教师节点无重叠的学生节点的输出权重衰减至零，从而产生赢家通吃行为（定理5）。
• 利用自顶向下的调制（β）和Hessian分析，建模梯度信号在优化过程中的传播与稳定机制。
• 通过在随机高斯输入、CIFAR-10数据集上的实验，以及引入批量归一化和过参数化的消融研究，验证理论预测。

实验结果

研究问题

• RQ1 为何过参数化的ReLU网络尽管容量极高，仍能良好泛化？
• RQ2 在训练过程中，学生节点的梯度流如何依赖于其与教师节点的重叠程度？
• RQ3 为何在训练后的ReLU网络中存在彩票现象？
• RQ4 为何在SGD训练的深层网络中会出现平坦极小值？
• RQ5 批量归一化如何影响学生网络中的收敛速度和节点相似性？

主要发现

• 如定理4所示，与教师节点初始重叠度高的学生节点，收敛至教师节点的速度显著更快。
• 在两层过参数化ReLU网络中，与教师节点无重叠的学生节点的输出权重衰减至零，从而产生赢家通吃行为（定理5）。
• 在高斯输入上的实验表明，节点相似性（ρ）在训练过程中持续上升，深层节点收敛更快，且引入批量归一化后性能进一步提升。
• 在CIFAR-10上，学生网络的测试准确率比教师网络高出约1%，且批量归一化显著加速收敛并提升节点相关性。
• 消融研究证实，过参数化可稳定并加速ρ的收敛，而有限数据集因激活区域稀疏，导致相似性增长受阻。
• H*和β*矩阵的可视化结果表明，高相关性学生节点在优化后发展出强自顶向下的调制信号，并形成与教师节点对齐的激活模式。