[论文解读] The Role of Momentum Parameters in the Optimal Convergence of Adaptive Polyak's Heavy-ball Methods

Wei Tao, Sheng Long+2 more|arXiv (Cornell University)|Feb 15, 2021

Stochastic Gradient Optimization Techniques参考文献 32被引用 6

一句话总结

本文证明，采用时变动量参数 $\beta_{1t} = \frac{t}{t+2}$ 的自适应 Polyak's Heavy-ball 方法在约束凸优化中可实现最优个体收敛率 $O(\frac{1}{\sqrt{t}})$，解决了理论与实践之间的鸿沟：尽管深度学习中普遍使用最后迭代点，但理论保证通常仅针对平均迭代点。分析揭示了自适应动量调度如何实现加速，并为实践中动量的设置提供了理论依据。

ABSTRACT

The adaptive stochastic gradient descent (SGD) with momentum has been widely adopted in deep learning as well as convex optimization. In practice, the last iterate is commonly used as the final solution to make decisions. However, the available regret analysis and the setting of constant momentum parameters only guarantee the optimal convergence of the averaged solution. In this paper, we fill this theory-practice gap by investigating the convergence of the last iterate (referred to as individual convergence), which is a more difficult task than convergence analysis of the averaged solution. Specifically, in the constrained convex cases, we prove that the adaptive Polyak's Heavy-ball (HB) method, in which only the step size is updated using the exponential moving average strategy, attains an optimal individual convergence rate of $O(\frac{1}{\sqrt{t}})$, as opposed to the optimality of $O(\frac{\log t}{\sqrt {t}})$ of SGD, where $t$ is the number of iterations. Our new analysis not only shows how the HB momentum and its time-varying weight help us to achieve the acceleration in convex optimization but also gives valuable hints how the momentum parameters should be scheduled in deep learning. Empirical results on optimizing convex functions and training deep networks validate the correctness of our convergence analysis and demonstrate the improved performance of the adaptive HB methods.

研究动机与目标

• 弥合理论收敛保证（通常针对平均迭代点）与动量优化中实际使用最后迭代点之间的理论-实践鸿沟。
• 分析自适应 Polyak's Heavy-ball 方法在约束凸设置下最后迭代点（个体收敛）的收敛性。
• 确定确保个体收敛达到最优速率 $O(\frac{1}{\sqrt{t}})$ 的最优动量参数调度。
• 基于收敛动力学，为深度学习中的动量参数调度提供理论依据。

提出的方法

• 提出一种自适应 Polyak's Heavy-ball 方法，仅通过指数移动平均（EMA）策略更新步长。
• 引入时变动量参数 $\beta_{1t} = \frac{t}{t+2}$，以实现最优个体收敛。
• 采用专为自适应动量方案设计的新颖证明技术，分析最后迭代点的收敛性。
• 证明自适应 HB 方法在约束凸问题中可实现 $O(\frac{1}{\sqrt{t}})$ 的个体收敛速率。
• 从收敛速率和实际性能两方面，将自适应 HB 方法与标准 SGD 和 Adam 类方法进行比较。
• 在凸函数及深度神经网络（4层 CNN 和 ResNet-18）上进行实证验证，涵盖 MNIST、CIFAR10 和 CIFAR100 数据集。

实验结果

研究问题

• RQ1 自适应 Polyak's Heavy-ball 方法能否在约束凸优化中实现最后迭代点的最优个体收敛？
• RQ2 何种动量参数调度可使自适应 HB 方法实现最优个体收敛？
• RQ3 与常数 $\beta_{1t}$ 相比，时变动量参数 $\beta_{1t} = \frac{t}{t+2}$ 在收敛性和实际性能方面表现如何？
• RQ4 所提出的自适应 HB 方法在训练深度神经网络时是否优于标准 Adam 和 SGD？

主要发现

• 采用 $\beta_{1t} = \frac{t}{t+2}$ 的自适应 Polyak's Heavy-ball 方法在约束凸优化中可实现最优个体收敛率 $O(\frac{1}{\sqrt{t}})$。
• 该速率是最优的，优于标准 SGD 对最后迭代点的 $O(\frac{\log t}{\sqrt{t}})$ 收敛速率。
• 时变动量参数 $\beta_{1t} = \frac{t}{t+2}$ 对实现最优个体收敛至关重要，而常数 $\beta_{1t}$ 无法实现。
• 实证结果表明，自适应 HB 方法在 4 层 CNN 和 ResNet-18 架构下，于 MNIST、CIFAR10 和 CIFAR100 上均实现了更低的训练损失和更高的测试准确率。
• 在相同的超参数调优协议下，该方法在训练损失和测试准确率方面优于 Adam、SGD、SGD-momentum、AdaGrad 和 RMSProp。
• 理论分析为深度学习中动量参数调度提供了理论依据，解释了为何 $\beta_{1t} \to 1$ 在实践中通常有效。