[论文解读] Taming Momentum in a Distributed Asynchronous Environment

Ido Hakimi, Saar Barkai+2 more|arXiv (Cornell University)|Jul 26, 2019

Stochastic Gradient Optimization Techniques参考文献 67被引用 13

一句话总结

本文提出 DANA，一种新颖的异步 SGD 方法，通过在估计的未来参数位置上计算梯度，缓解了分布式训练中的梯度延迟问题，实现了完整的动量整合而不损失准确性。DANA 在 64 个工作者和总计 16K 批大小的情况下实现了接近完美的线性扩展，其在 CIFAR-10 和 ImageNet 上的收敛速度和最终测试准确率均优于现有方法。

ABSTRACT

Although distributed computing can significantly reduce the training time of deep neural networks, scaling the training process while maintaining high efficiency and final accuracy is challenging. Distributed asynchronous training enjoys near-linear speedup, but asynchrony causes gradient staleness - the main difficulty in scaling stochastic gradient descent to large clusters. Momentum, which is often used to accelerate convergence and escape local minima, exacerbates the gradient staleness, thereby hindering convergence. We propose DANA: a novel technique for asynchronous distributed SGD with momentum that mitigates gradient staleness by computing the gradient on an estimated future position of the model's parameters. Thereby, we show for the first time that momentum can be fully incorporated in asynchronous training with almost no ramifications to final accuracy. Our evaluation on the CIFAR and ImageNet datasets shows that DANA outperforms existing methods, in both final accuracy and convergence speed while scaling up to a total batch size of 16K on 64 asynchronous workers.

研究动机与目标

• 为解决异步分布式 SGD 中的梯度延迟问题，该问题会降低收敛速度和最终准确率。
• 在异步训练中实现动量的完全利用，而传统方法中动量会加剧延迟并导致发散。
• 在保持高最终模型准确率的前提下，实现分布式训练的近似线性可扩展性。
• 证明动量可在大规模异步环境中有效使用，而不会影响性能。

提出的方法

• DANA 通过为梯度计算估计未来参数位置，将 Nesterov 的加速梯度方法适配到异步分布式训练中。
• 它在模型参数的预测未来状态上计算梯度，从而降低延迟梯度的影响。
• 该方法采用基于动量的更新规则，结合估计的未来位置以抵消延迟效应。
• DANA 兼容现有的参数服务器架构，可与 DC-ASGD 和 EASGD 等其他优化技术结合使用。
• 该算法维护带有动量系数 γ 的梯度移动平均，但调整了梯度计算点以减少延迟影响。
• DANA-Slim 是一种轻量级变体，在保持性能的同时减少了通信开销。

实验结果

研究问题

• RQ1 能否在不降低最终准确率的前提下，有效在异步分布式 SGD 中使用动量？
• RQ2 在高动量设置下的大规模异步训练中，如何缓解梯度延迟？
• RQ3 DANA 是否能在 64 个异步工作者中实现收敛速度和准确率的线性扩展？
• RQ4 在预测的未来参数位置上计算梯度是否能提升训练的稳定性和性能？
• RQ5 与 SSGD、Multi-ASGD 和 YellowFin 等现有方法相比，DANA 在最终准确率和收敛速度方面表现如何？

主要发现

• DANA 在最多 64 个异步工作者和总计 16K 批大小的情况下实现了接近完美的线性扩展，同时保持了高最终准确率。
• 在 CIFAR-10 上使用 ResNet-20 时，DANA-Slim 比 SSGD 快 25%，同时达到相似的最终测试误差。
• 在大批次大小下，DANA-Slim 的最终准确率超越 SSGD，而 Multi-ASGD 的性能则急剧下降。
• 在 Google Cloud 上，DANA-Slim 在 20 个工作者下扩展效果良好，测试误差仅比基线高不到 1%。
• 在所有评估设置中，DANA 在收敛速度和最终测试误差方面均优于 Multi-ASGD、SSGD 和 YellowFin。
• DANA 实现了在异步训练中使用高动量（γ）而不会发散，证明了动量可被完整地整合到此类设置中。