[论文解读] Training Deep Neural Networks Without Batch Normalization

Divya Gaur, Joachim Folz+1 more|arXiv (Cornell University)|Aug 18, 2020

Neural Networks and Applications参考文献 27被引用 5

一句话总结

本论文表明，通过采用权重归一化、自适应梯度裁剪和预热学习率调度，深度残差网络可在无需批量归一化的情况下成功训练。尽管在更深的架构（如ResNet-50）中准确率低于使用批量归一化的模型，但非BN网络在使用高学习率时仍能实现稳定训练，并显著降低内存消耗——证明当优化方法被仔细调整时，批量归一化并非有效训练的必要条件。

ABSTRACT

Training neural networks is an optimization problem, and finding a decent set of parameters through gradient descent can be a difficult task. A host of techniques has been developed to aid this process before and during the training phase. One of the most important and widely used class of method is normalization. It is generally favorable for neurons to receive inputs that are distributed with zero mean and unit variance, so we use statistics about dataset to normalize them before the first layer. However, this property cannot be guaranteed for the intermediate activations inside the network. A widely used method to enforce this property inside the network is batch normalization. It was developed to combat covariate shift inside networks. Empirically it is known to work, but there is a lack of theoretical understanding about its effectiveness and potential drawbacks it might have when used in practice. This work studies batch normalization in detail, while comparing it with other methods such as weight normalization, gradient clipping and dropout. The main purpose of this work is to determine if it is possible to train networks effectively when batch normalization is removed through adaption of the training process.

研究动机与目标

• 探究通过调整训练过程，是否可使深度神经网络在无需批量归一化的情况下实现有效训练。
• 评估替代归一化技术（如权重归一化、梯度裁剪和Dropout）对训练稳定性和性能的影响。
• 确定在非BN网络中是否可有效使用大学习率而不损害模型准确率。
• 分析非BN网络与批量归一化基线模型相比的计算效率和内存效率。
• 探索非BN训练策略在更深架构（如ResNet-34和ResNet-50）中的可迁移性。

提出的方法

• 将ResNet-18、-34和-50中的批量归一化层替换为权重归一化的卷积层。
• 应用自适应梯度裁剪以控制非BN网络中的梯度爆炸和消失问题。
• 采用预热学习率调度，随后进行线性衰减，以稳定使用高初始学习率的训练过程。
• 使用随机梯度下降训练模型，并通过修改优化动力学以保持梯度大小的稳定性。
• 在多种配置下比较训练动态和性能：未归一化、原始BN、固定学习率的非BN，以及采用自适应调度的非BN。
• 测量所有变体的训练时间、GPU内存消耗和泛化性能。

实验结果

研究问题

• RQ1 如果通过维持梯度大小来防止梯度消失或爆炸，是否可能在不使用批量归一化的情况下实现类似性能？
• RQ2 在非批量归一化网络中，是否可有效使用大学习率而不降低模型性能？
• RQ3 像权重归一化和梯度裁剪这样的替代归一化方法是否能提供与批量归一化相当的训练稳定性和准确率？
• RQ4 非BN网络在更深架构（如ResNet-34和ResNet-50）上的性能如何扩展？
• RQ5 与批量归一化模型相比，非BN网络的计算和内存效率如何？

主要发现

• 采用自适应梯度裁剪和预热学习率的非BN ResNet-18在验证准确率上仅比原始的批量归一化ResNet-18低1.4%。
• 非BN ResNet-34模型表现尚可，但其训练和验证准确率相比其BN对应模型均下降约2%。
• 非BN ResNet-50模型表现出显著的过拟合和较差的泛化能力，表明相同的修改无法直接迁移到更深的架构中。
• 非BN网络可在预热调度下使用高达0.017的学习率，而未归一化的网络在超过0.00001时即发散。
• 尽管训练时间更长，非BN网络的峰值内存消耗仅为批量归一化模型的20%。
• 结果表明，通过进一步的超参数调优和架构适配，非BN网络有望在性能上达到甚至超越批量归一化模型。