[论文解读] LaProp: a Better Way to Combine Momentum with Adaptive Gradient

Liu Ziyin, Zhikang T. Wang+1 more|arXiv (Cornell University)|Feb 12, 2020

Stochastic Gradient Optimization Techniques参考文献 17被引用 15

一句话总结

LaProp 提出了一种新颖的优化方法，通过在 Adam 风格优化器中解耦动量与自适应性，解决了二者耦合导致的不稳定性。通过实现超参数的独立调优，并在符号梯度方法与自适应梯度方法之间实现插值，LaProp 在多种任务中实现了更优的训练速度与稳定性，其遗憾界理论分析表明其相较于 Adam 具有显著优势。

ABSTRACT

We identity a by-far-unrecognized problem of Adam-style optimizers which results from unnecessary coupling between momentum and adaptivity. The coupling leads to instability and divergence when the momentum and adaptivity parameters are mismatched. In this work, we propose a method, Laprop, which decouples momentum and adaptivity in the Adam-style methods. We show that the decoupling leads to greater flexibility in the hyperparameters and allows for a straightforward interpolation between the signed gradient methods and the adaptive gradient methods. We experimentally show that Laprop has consistently improved speed and stability over Adam on a variety of tasks. We also bound the regret of Laprop on a convex problem and show that our bound differs from that of Adam by a key factor, which demonstrates its advantage.

研究动机与目标

• 识别并解决 Adam 风格优化器中因动量与自适应性之间非预期耦合而导致的训练不稳定性问题。
• 通过解耦动量与自适应性，实现超参数的独立调优与更高的方法灵活性。
• 通过解耦框架，在符号梯度方法与自适应梯度方法之间实现平滑插值。
• 在多种机器学习任务中，证明 LaProp 相较于 Adam 具有更优的训练速度与稳定性。
• 为 LaProp 在凸问题上的遗憾界提供理论分析，表明其相较于 Adam 具有关键优势。

提出的方法

• LaProp 引入了一种新的更新规则，将动量项与自适应学习率计算分离。
• 它为梯度及其平方分别维护独立的指数移动平均，从而解耦其更新机制。
• 该方法采用改进的学习率调度策略，实现对动量强度与自适应缩放的独立控制。
• 通过调节动量与自适应分量的相对影响，LaProp 实现了在符号梯度方法与自适应梯度方法之间的插值。
• 该算法设计为与现有 Adam 类框架向后兼容，同时改善收敛行为。
• 理论分析界定了 LaProp 在凸问题上的遗憾，突显其与 Adam 遗憾界的关键差异。

实验结果

研究问题

• RQ1 Adam 风格优化器中动量与自适应性之间的耦合如何影响训练稳定性与收敛性？
• RQ2 能否通过解耦动量与自适应性来提升优化性能与超参数灵活性？
• RQ3 解耦对多种机器学习任务中的训练速度与稳定性有何影响？
• RQ4 LaProp 在凸优化设置下的遗憾界与 Adam 相比如何？
• RQ5 LaProp 是否能实现符号梯度方法与自适应梯度方法之间的平滑插值？

主要发现

• LaProp 在多种机器学习任务中持续优于 Adam，展现出更优的训练速度与稳定性。
• 动量与自适应性的解耦使得超参数选择具有更大的灵活性，且不损害收敛性。
• LaProp 通过其设计实现了在符号梯度方法与自适应梯度方法之间的平滑插值。
• 理论分析表明，LaProp 的遗憾界与 Adam 的遗憾界存在关键差异，表明其在收敛性保证方面具有根本性优势。
• 实证结果表明，当动量与自适应性参数不匹配时，LaProp 避免了 Adam 中常见的发散问题。
• LaProp 在多种任务中保持了强劲性能，表明其具有超越特定架构或数据集的广泛适用性。