[论文解读] Block-Normalized Gradient Method: An Empirical Study for Training Deep Neural Network

Adams Wei Yu, Lei Huang+3 more|arXiv (Cornell University)|Jul 16, 2017

Stochastic Gradient Optimization Techniques参考文献 2被引用 17

一句话总结

该论文提出了一种块归一化梯度（Block-Normalized Gradient, BNG）方法，这是一种简单而有效的优化框架，通过逐层归一化梯度来缓解深度神经网络训练中的梯度消失和梯度爆炸问题。实验结果表明，BNG显著提升了训练的收敛速度和泛化能力，其中SGDMNG在ImageNet上的表现优于Adam，而AdamNG在RNN语言建模任务中表现出色。

ABSTRACT

In this paper, we propose a generic and simple strategy for utilizing stochastic gradient information in optimization. The technique essentially contains two consecutive steps in each iteration: 1) computing and normalizing each block (layer) of the mini-batch stochastic gradient; 2) selecting appropriate step size to update the decision variable (parameter) towards the negative of the block-normalized gradient. We conduct extensive empirical studies on various non-convex neural network optimization problems, including multi-layer perceptron, convolution neural networks and recurrent neural networks. The results indicate the block-normalized gradient can help accelerate the training of neural networks. In particular, we observe that the normalized gradient methods having constant step size with occasionally decay, such as SGD with momentum, have better performance in the deep convolution neural networks, while those with adaptive step sizes, such as Adam, perform better in recurrent neural networks. Besides, we also observe this line of methods can lead to solutions with better generalization properties, which is confirmed by the performance improvement over strong baselines.

研究动机与目标

• 通过一种新颖的归一化策略，解决深度神经网络训练中梯度消失和梯度爆炸的挑战。
• 开发一种通用的、逐层的梯度归一化技术，适用于多种深度学习架构。
• 研究归一化梯度对不同神经网络类型和数据集上优化性能的影响。
• 比较在与块归一化梯度结合时，恒定步长与自适应步长策略的有效性。
• 在前馈网络和序列模型中均展示出更好的泛化性能和更快的收敛速度。

提出的方法

• 为神经网络的每一层（块）计算小批量随机梯度。
• 通过将其除以其L2范数，对每一层的梯度进行归一化，得到单位范数的方向向量。
• 将归一化后的梯度用作优化中的搜索方向，从而实现方向与幅值的解耦。
• 采用恒定步长并辅以偶尔衰减（如SGD带动量）或自适应步长（如Adam、AdaGrad）。
• 将归一化梯度无缝集成到现有的一阶优化算法中，而不修改其核心更新规则。
• 通过逐层应用归一化，保持计算效率，同时保留随机优化的可扩展性。

实验结果

研究问题

• RQ1 逐层梯度归一化是否能提升深度神经网络训练的稳定性和收敛速度？
• RQ2 在不同架构下，块归一化梯度方法与标准SGD和Adam相比，在测试准确率方面表现如何？
• RQ3 在与归一化梯度结合时，恒定步长与自适应步长策略中哪一种表现更优？
• RQ4 归一化梯度方法是否能带来优于未归一化对应方法的泛化性能？
• RQ5 该方法在图像分类、语言建模和情感分析等多样化任务中的表现如何？

主要发现

• 块归一化梯度方法在多种深度学习任务中（包括CNN、RNN和前馈网络）均一致提升了训练性能。
• 在ImageNet数据集上使用ResNet时，SGDMNG达到28.43%的top-1错误率，优于SGDM（29.05%）和Adam（35.6%），展现出更优的泛化能力。
• 在Penn Tree Bank语言建模任务中，AdamNG达到77.11%的验证准确率，优于Adam（74.02%）和SGDM（64.35%），且在所有BPTT长度下均表现更优。
• 在Rotten Tomatoes情感分析任务中，AdamNG达到最高验证准确率，显著优于所有基线模型，包括Adam和SGDM。
• 该方法在极深网络中优势尤为明显，梯度归一化能更有效地缓解梯度消失/爆炸问题。
• 在RNN中，自适应步长方法（如AdamNG）优于恒定步长方法（如SGDMNG），而在CNN中则相反，凸显了任务相关的最优配置选择。