[论文解读] A Qualitative Study of the Dynamic Behavior for Adaptive Gradient Algorithms

Chao Ma, Lei Wu+1 more|arXiv (Cornell University)|Sep 14, 2020

Neural Networks and Applications参考文献 16被引用 7

一句话总结

本文通过数值实验和理论分析，研究了自适应梯度算法（特别是RMSprop和Adam）的动态行为。识别出三种关键现象——快速初始收敛、振荡和后期的大峰值，并表明当动量参数β₁和β₂接近时，Adam的稳定性显著提高，尤其在需要将训练损失最小化至典型机器学习阈值以下的高精度科学计算任务中。

ABSTRACT

The dynamic behavior of RMSprop and Adam algorithms is studied through a combination of careful numerical experiments and theoretical explanations. Three types of qualitative features are observed in the training loss curve: fast initial convergence, oscillations, and large spikes in the late phase. The sign gradient descent (signGD) flow, which is the limit of Adam when taking the learning rate to 0 while keeping the momentum parameters fixed, is used to explain the fast initial convergence. For the late phase of Adam, three different types of qualitative patterns are observed depending on the choice of the hyper-parameters: oscillations, spikes, and divergence. In particular, Adam converges much smoother and even faster when the values of the two momentum factors are close to each other. This observation is particularly important for scientific computing tasks, for which the training process usually proceeds into the high precision regime.

研究动机与目标

• 理解自适应梯度算法（如Adam和RMSprop）在全批量设置下的非单调训练动态。
• 解释Adam中观察到的快速初始收敛以及后期不稳定性（如振荡和训练损失大幅峰值）的成因。
• 研究超参数选择（尤其是动量因子β₁和β₂）对Adam稳定性与收敛行为的影响。
• 为β₁ ≈ β₂时性能提升提供理论与实证依据，特别是在需要高精度解的科学计算应用中。
• 证明默认超参数（如β₁=0.9，β₂=0.999）在回归和PDE求解任务中可能导致训练不稳定，尽管其在分类任务中表现良好。

提出的方法

• 在全批量训练中对分类（CIFAR-10）和回归任务（泊松方程求解）进行系统性数值实验。
• 将符号梯度下降（signGD）流视为学习率→0且动量参数固定时Adam的极限情况，为快速初始收敛提供理论依据。
• 推导并研究RMSprop和Adam在驻点处的极限行为，识别出振荡或峰值出现的条件。
• 基于(β₁, β₂)对Adam行为进行三类划分——峰值、振荡和发散，采用相空间分析方法。
• 使用深度伽辽金方法（DGM）通过神经网络求解PDE，采用不同超参数的Adam评估训练稳定性和收敛速度。
• 利用经验损失曲线和测试误差动态比较不同超参数设置下的训练行为，尤其关注后期行为。

实验结果

研究问题

• RQ1 为何自适应梯度算法（如Adam）在快速初始收敛后，会出现后期的振荡和训练损失大幅峰值？
• RQ2 Adam和RMSprop中观察到的快速初始收敛背后的理论机制是什么？
• RQ3 动量超参数β₁和β₂如何影响Adam在高精度科学计算任务中的稳定性和收敛模式？
• RQ4 在何种条件下，Adam在训练过程中表现出振荡、峰值或发散行为？
• RQ5 默认超参数（β₁=0.9，β₂=0.999）在回归和PDE求解任务中是否可能次优？若如此，何种替代方案可实现更稳定的训练？

主要发现

• Adam之所以表现出快速初始收敛，是因为在学习率趋于零且动量参数固定时，其收敛于符号梯度下降（signGD）流。
• 当目标函数满足Polyak-Lojasiewicz（PL）条件时，signGD流可证明实现有限时间收敛，从而解释了Adam在早期的快速进展。
• Adam后期训练损失中的大峰值源于驻点处的算法不稳定性，尤其当β₁与β₂相差较远时更为显著。
• 当β₁ ≈ β₂时，Adam训练显著更稳定，收敛更快，振荡极少且无大峰值，尤其在高精度回归和PDE求解任务中表现突出。
• 实证结果表明，使用默认超参数（β₁=0.9，β₂=0.999）时，Adam在科学计算任务中导致损失曲线出现大峰值，而将β₁ ≈ β₂（如β₁=β₂=0.1）则实现更平滑且更快的收敛。
• Adam的训练动态被划分为三种模式：当β₁ < β₂时为峰值模式，β₁ ≈ β₂时为振荡模式，β₁ > β₂时为发散模式，其中振荡模式在高精度训练中最为理想。