[论文解读] Gradient Amplification: An efficient way to train deep neural networks

Sunitha Basodi, Chunyan Ji+2 more|arXiv (Cornell University)|Jun 16, 2020

Advanced Neural Network Applications参考文献 26被引用 13

一句话总结

本文提出梯度放大（gradient amplification），一种新颖的训练策略，通过在反向传播过程中动态增强梯度，以缓解梯度消失问题。通过在交替训练周期中选择性地放大特定层（尤其是批量归一化（BN）层）的梯度，该方法实现了更快的收敛速度和更高的准确率，即使在较高学习率下，测试准确率也比原始模型最高提升2.27%，显著缩短了训练时间。

ABSTRACT

Improving performance of deep learning models and reducing their training times are ongoing challenges in deep neural networks. There are several approaches proposed to address these challenges one of which is to increase the depth of the neural networks. Such deeper networks not only increase training times, but also suffer from vanishing gradients problem while training. In this work, we propose gradient amplification approach for training deep learning models to prevent vanishing gradients and also develop a training strategy to enable or disable gradient amplification method across several epochs with different learning rates. We perform experiments on VGG-19 and resnet (Resnet-18 and Resnet-34) models, and study the impact of amplification parameters on these models in detail. Our proposed approach improves performance of these deep learning models even at higher learning rates, thereby allowing these models to achieve higher performance with reduced training time.

研究动机与目标

• 解决深度神经网络中阻碍训练效率和模型性能的梯度消失问题。
• 通过在不牺牲收敛性或准确率的前提下，实现更高学习率下的有效训练，从而减少训练时间。
• 开发一种动态训练策略，跨训练周期交替使用梯度放大与标准反向传播。
• 识别出在VGG-19和ResNets等深层模型中能最大化性能提升的最优层及放大参数。
• 证明梯度放大可提升训练和泛化性能，且不会引发过拟合。

提出的方法

• 在选定层的反向传播过程中，引入一种梯度放大机制，通过可学习的缩放因子乘以梯度。
• 基于实验性能分析，选择性地对特定层（尤其是批量归一化（BN）层）应用放大。
• 采用混合训练策略：在交替的训练周期中，一个周期使用梯度放大，另一个周期不使用，以稳定学习并提升收敛性。
• 结合动态学习率调度与梯度放大，以在保持高准确率的同时加速训练。
• 通过逐层消融实验，评估对不同层类型（如BN、ReLU或两者）进行放大时的影响。
• 采用五折交叉验证的训练设置，结合早停和学习率衰减，以确保评估的稳健性。

实验结果

研究问题

• RQ1 梯度放大是否能在不增加模型复杂度的前提下，提升VGG-19和ResNet等深层网络的训练速度和模型准确率？
• RQ2 在性能增益方面，哪些层（如BN、ReLU）在梯度放大中最为有效？
• RQ3 与标准训练相比，交替使用放大与非放大周期的策略在收敛性和准确率方面表现如何？
• RQ4 梯度放大是否能有效支持更高学习率的使用，而不会导致发散或过拟合？
• RQ5 梯度放大是否能在不使用原始模型最佳运行结果的前提下，超越原始模型的最佳表现？

主要发现

• 与原始模型相比，梯度放大使VGG-19的测试准确率最高提升2.27%，ResNet-18提升2.08%，ResNet-34提升1.67%。
• 当仅对批量归一化（BN）层进行放大时，性能最佳，优于同时放大BN和ReLU层的策略。
• 即使在固定学习率为0.01的情况下额外训练50个周期，原始模型仍未能达到梯度放大模型的准确率。
• 在五次独立运行中，放大模型的训练和测试准确率均高于原始模型的平均值和最佳运行结果。
• 该方法使更高学习率得以有效使用，从而在保持或提升模型性能的同时缩短了训练时间。
• 采用交替放大与非放大周期的训练策略，有效防止了过拟合，提升了泛化能力。