[论文解读] Gradient descent with momentum --- to accelerate or to super-accelerate?

Goran Nakerst, John Brennan+1 more|arXiv (Cornell University)|Jan 17, 2020

Stochastic Gradient Optimization Techniques参考文献 48被引用 5

一句话总结

该论文通过在多个步骤前的点处评估梯度（通过新超参数 σ > g），在梯度下降与动量结合中提出了一种‘超加速’机制，显著提升了标准Nesterov加速的收敛速度。在二次型和合成损失曲面，以及MNIST神经网络训练中，最优 σ > 1 能实现更快的最小化，且该优势可扩展至自适应优化器如RMSProp和Adam。

ABSTRACT

We consider gradient descent with `momentum', a widely used method for loss function minimization in machine learning. This method is often used with `Nesterov acceleration', meaning that the gradient is evaluated not at the current position in parameter space, but at the estimated position after one step. In this work, we show that the algorithm can be improved by extending this `acceleration' --- by using the gradient at an estimated position several steps ahead rather than just one step ahead. How far one looks ahead in this `super-acceleration' algorithm is determined by a new hyperparameter. Considering a one-parameter quadratic loss function, the optimal value of the super-acceleration can be exactly calculated and analytically estimated. We show explicitly that super-accelerating the momentum algorithm is beneficial, not only for this idealized problem, but also for several synthetic loss landscapes and for the MNIST classification task with neural networks. Super-acceleration is also easy to incorporate into adaptive algorithms like RMSProp or Adam, and is shown to improve these algorithms.

研究动机与目标

• 通过将Nesterov前瞻机制扩展至超过一步的前瞻，改进带动量的梯度下降。
• 探究在多个步骤前（σ > 1）评估梯度是否能提升收敛速度。
• 分析在二次型与非二次型损失函数中，新超参数 σ 的最优值。
• 将超加速机制扩展至自适应优化器如RMSProp和Adam。
• 为在深度学习模型训练中使用 σ 提供实用建议。

提出的方法

• 提出一种改进的动量算法，其中梯度在 θ^(i) + σ·m^(i-1) 处计算，引入 σ 作为新超参数。
• 使用连续时间常微分方程（ODEs）将动量和Nesterov方法建模为阻尼谐振子。
• 通过分析一维二次型损失函数 L(θ) = ½kθ²，解析与数值推导最优 σ。
• 在二维及约50维的合成损失函数上进行数值实验，评估不同 σ 值下的性能表现。
• 在全连接与卷积神经网络上测试该方法在MNIST分类任务中的表现。
• 通过将 σ 嵌入其更新规则，将该方法扩展至自适应优化器如RMSProp和Adam。

实验结果

研究问题

• RQ1 将Nesterov前瞻从一步扩展至多步（σ > 1）是否能显著加速优化过程的收敛？
• RQ2 对于最小化二次型损失函数，σ 的最优值是多少？其与学习率和曲率的关系如何？
• RQ3 超加速是否能提升在非二次型、合成损失曲面以及真实世界深度学习任务（如MNIST）中的性能？
• RQ4 超加速与自适应优化器（如RMSProp和Adam）如何相互作用？
• RQ5 在何种条件下超加速会失效？在实际中如何缓解这些不稳定性？

主要发现

• 在一维二次型损失函数中，最优 σ 显著大于1（例如 σ* ≈ 2–5），对大多数 kη 值而言，表明超加速可提升收敛速度。
• 在二维及约50维的合成曲面中，当 σ 超过 g ≈ 0.9 时，可实现更快的最小化，但过大的 σ 会因非线性效应导致收敛至非最小点。
• 在全连接与卷积神经网络的MNIST分类任务中，σ > 1 的超加速显著加快了训练并提升了收敛速度。
• 该方法可轻松集成至RMSProp和Adam等自适应优化器中，初步结果表明性能有所提升。
• 在实际应用中，建议从 σ ≈ 5 开始，逐步减小至 σ ≈ 2，可在保持快速收敛的同时避免不稳定性。
• 该方法在极浅区域（kη 极小）失效，此时 σ 几乎无影响；在高度非线性区域（如某些合成函数中 σ ≳ 4），会出现虚假吸引子。