[论文解读] AEGD: Adaptive Gradient Decent with Energy.

Hailiang Liu, Xuping Tian|arXiv (Cornell University)|Oct 10, 2020

Stochastic Gradient Optimization Techniques参考文献 57被引用 4

一句话总结

AEGD 是一种新型的一阶优化算法，通过自适应二次能量更新确保无条件能量稳定性与快速收敛，即使在大步长下亦成立。它所需超参数调优极少，并在深度神经网络的泛化性能上优于带有动量的随机梯度下降（SGD），同时对初始条件具有鲁棒性。

ABSTRACT

In this paper, we propose AEGD, a new algorithm for first-order gradient-based optimization of stochastic objective functions, based on adaptive updates of quadratic energy. As long as an objective function is bounded from below, AEGD can be applied, and it is shown to be unconditionally energy stable, irrespective of the step size. In addition, AEGD enjoys tight convergence rates, yet allows a large step size. The method is straightforward to implement and requires little tuning of hyper-parameters. Experimental results demonstrate that AEGD works well for various optimization problems: it is robust with respect to initial data, capable of making rapid initial progress, shows comparable and most times better generalization performance than SGD with momentum for deep neural networks. The implementation of the algorithm can be found at this https URL.

研究动机与目标

• 开发一种一阶优化算法，确保无论步长如何，均具备无条件能量稳定性。
• 在保持对初始数据鲁棒性的同时，实现使用大步长的快速收敛。
• 与现有方法（如带有动量的SGD）相比，减少超参数调优需求。
• 相比标准随机梯度方法，提升深度神经网络的泛化性能。

提出的方法

• AEGD 引入基于二次能量函数的自适应更新，该函数在优化过程中动态演化。
• 能量函数被动态调整，以确保目标函数始终有下界。
• 该算法保证能量稳定性与步长无关，从而支持更大的学习率。
• 它采用基于梯度的更新规则，并融合能量自适应机制以加速收敛。
• 该方法设计简洁，实现时所需超参数配置极少。
• 能量自适应机制确保了对初始化的鲁棒性，并在优化初期实现快速进展。

实验结果

研究问题

• RQ1 一阶优化方法能否在无论步长如何的情况下实现无条件能量稳定性？
• RQ2 基于自适应能量的更新是否能提升深度神经网络的收敛速度与泛化性能？
• RQ3 AEGD 是否能在大步长下保持性能并避免发散？
• RQ4 与带有动量的SGD相比，AEGD在泛化性能与对初始化的鲁棒性方面表现如何？

主要发现

• AEGD 具备无条件能量稳定性，即对任意步长均保持稳定，这是重要的理论优势。
• 该算法实现了紧密的收敛速率，支持优化过程中的快速初始进展。
• AEGD 在深度神经网络上的泛化性能与带有动量的SGD相当或更优。
• 该方法对初始数据具有鲁棒性，在不同初始化设置下均表现出一致的性能。
• AEGD 所需的超参数调优极少，使其在真实世界深度学习应用中更具实用性。
• 实现过程直接明了，且已公开发布，支持可复现性与广泛采用。