[论文解读] Adai: Separating the Effects of Adaptive Learning Rate and Momentum Inertia.

Zeke Xie, Xinrui Wang+3 more|arXiv (Cornell University)|Jun 29, 2020

Stochastic Gradient Optimization Techniques参考文献 68被引用 7

一句话总结

本文解耦了Adam中自适应学习率与动量的影响，揭示出自适应学习率有助于快速逃离鞍点，但会损害对平坦极小值的选择；而动量则能辅助逃离而不扭曲对极小值的偏好。为改善泛化性能，作者提出Adaptive Inertia——一种新颖的优化框架，通过参数级自适应惯性，加速训练并像SGD一样偏好平坦极小值，在实验中其泛化性能优于Adam和SGD。

ABSTRACT

Adaptive Momentum Estimation (Adam), which combines Adaptive Learning Rate and Momentum, is the most popular stochastic optimizer for accelerating the training of deep neural networks. However, empirically Adam often generalizes worse than Stochastic Gradient Descent (SGD). We unveil the mystery of this behavior based on the diffusion theoretical framework. Specifically, we disentangle the effects of Adaptive Learning Rate and Momentum of the Adam dynamics on saddle-point escaping and minima selection. We prove that Adaptive Learning Rate can escape saddle points efficiently, but cannot select flat minima as SGD does. In contrast, Momentum provides a drift effect to help the training process pass through saddle points, and almost does not affect flat minima selection. This theoretically explains why SGD (with Momentum) generalizes better, while Adam generalizes worse but converges faster. Furthermore, motivated by the analysis, we design a novel adaptive optimization framework named Adaptive Inertia, which uses parameter-wise adaptive inertia to accelerate the training and provably favors flat minima as well as SGD. Our extensive experiments demonstrate that the proposed adaptive inertia method can generalize significantly better than SGD and conventional adaptive gradient methods.

研究动机与目标

• 理解为何Adam在收敛速度更快的情况下泛化性能仍劣于SGD。
• 解耦自适应学习率与动量在Adam动态行为中的独立作用。
• 基于扩散理论分析这些组件如何影响鞍点逃离与极小值选择。
• 设计一种新优化框架，在保留Adam快速收敛的同时提升泛化性能。

提出的方法

• 作者采用扩散理论框架，对Adam的随机动力学进行建模，将其行为分解为自适应学习率与动量的贡献。
• 他们形式化证明了自适应学习率可实现高效的鞍点逃离，但无法像SGD一样偏好平坦极小值。
• 他们表明，动量通过提供漂移效应有助于鞍点逃离，但对平坦极小值选择的影响可忽略不计。
• 基于此分析，他们提出Adaptive Inertia——一种新颖的自适应优化框架，通过参数级自适应惯性来模拟SGD对平坦极小值的偏好。
• 该方法引入一种新的更新规则，可动态调整每个参数的惯性，平衡快速收敛与泛化性能。
• 理论分析证明，Adaptive Inertia可像SGD一样偏好平坦极小值，同时保持自适应收敛速度。

实验结果

研究问题

• RQ1 Adam中的自适应学习率与动量各自如何影响鞍点逃离与极小值选择？
• RQ2 为何Adam在收敛速度更快的情况下泛化性能仍劣于SGD？
• RQ3 是否可以在不牺牲收敛速度的前提下缓解自适应学习率对极小值选择的负面影响？
• RQ4 能否设计一种新优化框架，结合Adam的快速收敛与SGD的泛化性能？

主要发现

• 自适应学习率可实现高效的鞍点逃离，但不会像SGD一样偏好平坦极小值。
• 动量通过漂移效应促进鞍点逃离，但对平坦极小值选择的影响可忽略不计。
• Adam中自适应学习率与动量的结合导致极小值选择次优，从而造成泛化性能下降。
• 所提出的Adaptive Inertia方法可严格证明偏好平坦极小值，与SGD类似，同时保持快速收敛。
• 大量实验表明，Adaptive Inertia在泛化性能上显著优于SGD和传统的自适应梯度方法。
• 基于扩散理论的理论分析为理解Adam的泛化性能差距提供了严谨的理论依据。