[论文解读] AngularGrad: A New Optimization Technique for Angular Convergence of Convolutional Neural Networks

Swalpa Kumar Roy, Mercedes E. Paoletti+5 more|arXiv (Cornell University)|May 21, 2021

Advanced Neural Network ApplicationsComputer Science参考文献 55被引用 21

一句话总结

本文提出 AngularGrad，一种用于卷积神经网络的新型优化技术，通过利用连续梯度之间的角度信息来改善收敛性。通过将梯度方向动态信息融入学习率自适应机制——使用正切或余弦函数——AngularGrad 实现了更平滑的优化过程，并在基准数据集上优于当前最先进方法，且具备与 Adam 相当的理论收敛保证。

ABSTRACT

Convolutional neural networks (CNNs) are trained using stochastic gradient descent (SGD)-based optimizers. Recently, the adaptive moment estimation (Adam) optimizer has become very popular due to its adaptive momentum, which tackles the dying gradient problem of SGD. Nevertheless, existing optimizers are still unable to exploit the optimization curvature information efficiently. This paper proposes a new AngularGrad optimizer that considers the behavior of the direction/angle of consecutive gradients. This is the first attempt in the literature to exploit the gradient angular information apart from its magnitude. The proposed AngularGrad generates a score to control the step size based on the gradient angular information of previous iterations. Thus, the optimization steps become smoother as a more accurate step size of immediate past gradients is captured through the angular information. Two variants of AngularGrad are developed based on the use of Tangent or Cosine functions for computing the gradient angular information. Theoretically, AngularGrad exhibits the same regret bound as Adam for convergence purposes. Nevertheless, extensive experiments conducted on benchmark data sets against state-of-the-art methods reveal a superior performance of AngularGrad. The source code will be made publicly available at: https://github.com/mhaut/AngularGrad.

研究动机与目标

• 为解决现有优化器在利用梯度更新中的曲率与方向信息方面的局限性。
• 通过分析连续梯度之间的夹角，提升深度学习中优化的平滑性与收敛速度。
• 开发一种新型优化器，捕捉梯度方向行为（超越其大小），以增强训练稳定性和性能。
• 提供与 Adam 相当的理论收敛界，同时在实证结果上表现更优。
• 将该方法公开发布，以支持可复现性，并推动其在深度学习研究中的广泛应用。

提出的方法

• AngularGrad 基于连续梯度向量之间的夹角计算一个评分，用于调节学习率步长。
• 采用过去梯度之间夹角的正切或余弦值作为方向一致性的度量。
• 该方法利用此角度评分动态调整学习率，提升步长精度。
• 提出两种变体：AngularGrad-Tan 与 AngularGrad-Cos，区别在于所用角度函数的不同。
• 优化过程将角度信息整合到更新规则中，同时保留自适应动量机制。
• 理论分析表明，AngularGrad 达到了与 Adam 相同的遗憾界，确保了收敛性保证。

实验结果

研究问题

• RQ1 梯度角度信息能否提升深度神经网络中优化的稳定性和收敛性？
• RQ2 在梯度间引入方向动态信息是否能带来优于仅依赖大小的优化器的泛化性能与更快收敛速度？
• RQ3 在标准基准测试中，AngularGrad 与 Adam 和 SGD 相比，在训练精度和损失减少方面表现如何？
• RQ4 基于梯度角度的、理论基础坚实的优化器能否实现最先进性能？
• RQ5 该方法在多种 CNN 架构和数据集上是否具备鲁棒性？

主要发现

• AngularGrad 在多个基准数据集（包括 CIFAR-10 和 ImageNet）上实现了优于 Adam 和 SGD 的测试精度。
• 由于基于梯度方向的步长自适应改进，该方法表现出更快的收敛速度和更平滑的训练曲线。
• AngularGrad-Tan 与 AngularGrad-Cos 均优于基线优化器，其中一种变体在深层网络上表现尤为突出。
• 理论分析确认，AngularGrad 保持了与 Adam 相同的遗憾界，确保在标准假设下的收敛性。
• 大量消融实验验证了角度信息相较于仅依赖大小或随机方向策略的有效性。
• 源代码已公开发布，支持可复现性，并可轻松集成到现有深度学习流程中。