[论文解读] Aggregated Momentum: Stability Through Passive Damping

James Lucas, Shengyang Sun+2 more|arXiv (Cornell University)|Apr 1, 2018

Stochastic Gradient Optimization Techniques参考文献 35被引用 7

一句话总结

聚合动量（AggMo）通过结合多个具有不同阻尼系数（$\beta$）的动量向量，提升了优化的稳定性，即使在较大的 $\beta$ 值（例如 0.999）下也能实现高速收敛，这是通过被动阻尼实现的。在实践中，AggMo 的表现优于经典动量和 Nesterov 动量，且超参数调优极少。

ABSTRACT

Momentum is a simple and widely used trick which allows gradient-based optimizers to pick up speed along low curvature directions. Its performance depends crucially on a damping coefficient $β$. Large $β$ values can potentially deliver much larger speedups, but are prone to oscillations and instability; hence one typically resorts to small values such as 0.5 or 0.9. We propose Aggregated Momentum (AggMo), a variant of momentum which combines multiple velocity vectors with different $β$ parameters. AggMo is trivial to implement, but significantly dampens oscillations, enabling it to remain stable even for aggressive $β$ values such as 0.999. We reinterpret Nesterov's accelerated gradient descent as a special case of AggMo and analyze rates of convergence for quadratic objectives. Empirically, we find that AggMo is a suitable drop-in replacement for other momentum methods, and frequently delivers faster convergence.

研究动机与目标

• 解决高阻尼动量方法（$\beta \approx 1$）因震荡而产生的不稳定性问题。
• 通过在低曲率方向保持高终端速度，实现更快的收敛，同时不牺牲稳定性。
• 提供一种简单、可直接替换经典动量和 Nesterov 动量的优化方法，且对超参数选择更具鲁棒性。
• 将 AggMo 形式化为一种受物理启发的被动阻尼机制，通过多频率速度聚合防止共振。

提出的方法

• AggMo 维护多个具有不同阻尼系数 $\beta_i$ 的速度向量，并对它们进行平均以执行参数更新。
• 更新规则结合了 $M$ 个速度向量：$\mathbf{v}_t^{(i)} = \beta_i \mathbf{v}_{t-1}^{(i)} - \nabla_\theta f(\boldsymbol{\theta}_{t-1})$，随后 $\boldsymbol{\theta}_t = \boldsymbol{\theta}_{t-1} + \gamma_t \cdot \frac{1}{M} \sum_{i=1}^M \mathbf{v}_t^{(i)}$。
• 该方法受到结构工程中被动阻尼的启发，即多种具有不同共振频率的材料可防止灾难性震荡。
• 当 $\beta_i$ 值选择适当时，AggMo 可被证明是 Nesterov 加速梯度的特例。
• 提出了一种连续类比形式——Beta 平均动量（Beta-Averaged Momentum），通过对 $\beta$ 值的贝塔分布积分，实现理论分析中的闭式矩计算。
• 该方法在深度自编码器、卷积神经网络（CNNs）和长短期记忆网络（LSTMs）上进行了实证评估，比较了在默认和调优设置下的收敛速度与泛化性能。

实验结果

研究问题

• RQ1 通过结合多个具有不同阻尼系数的动量向量，能否在高 $\beta$ 值下实现优化的稳定？
• RQ2 AggMo 在收敛速度和对超参数选择的鲁棒性方面，与经典动量和 Nesterov 动量相比如何？
• RQ3 AggMo 是否可被解释为一种被动阻尼形式，类似于具有多个共振频率的物理系统？
• RQ4 AggMo 在在线凸编程设置下是否具有理论收敛保证？
• RQ5 AggMo 的连续形式（如 Beta 平均动量）是否能提供闭式更新规则并实现稳定的优化轨迹？

主要发现

• 由于在低曲率方向能稳定地积累高速度，AggMo 在使用高 $\beta$ 值（如 $\beta = 0.999$）时，收敛速度显著快于经典动量和 Nesterov 动量。
• 在 MNIST 自编码器实验中，AggMo 在默认设置下测试损失为 3.04，优于 Nesterov（4.62）和经典动量（4.98）在最优设置下的表现。
• AggMo 的默认超参数在性能上优于 CM 和 Nesterov 的默认设置，表明其对调优的敏感性更低，训练损失为 1.60，而 CM 和 Nesterov 分别为 1.94 和 2.07。
• 在 LSTM 实验中，AggMo 在默认设置下实现了优于 CM 和 Nesterov 的验证损失与测试困惑度，即使 Nesterov 使用 $\beta = 0.99$ 也是如此。
• 理论分析表明，AggMo 在在线凸编程中实现了收敛的平均遗憾，支持其稳定性和收敛性。
• Beta 平均动量（Beta-Averaged Momentum）作为 AggMo 的连续扩展，其优化轨迹与离散 AggMo 相似，并可通过贝塔分布的矩实现闭式矩计算。