[论文解读] Gradient Energy Matching for Distributed Asynchronous Gradient Descent

Joeri Hermans, Gilles Louppe|arXiv (Cornell University)|May 22, 2018

Stochastic Gradient Optimization Techniques参考文献 11被引用 5

一句话总结

本文提出梯度能量匹配（GEM），一种新颖的分布式异步SGD算法，通过将异步系统的动能与具有动量的目标同步SGD过程的动能相匹配，从而稳定训练。通过基于能量匹配动态缩放工作节点的更新，GEM在多达100个工作节点上实现了稳定且可扩展的训练，相比基线方法具有显著的运行时间加速和更好的泛化性能。

ABSTRACT

Distributed asynchronous SGD has become widely used for deep learning in large-scale systems, but remains notorious for its instability when increasing the number of workers. In this work, we study the dynamics of distributed asynchronous SGD under the lens of Lagrangian mechanics. Using this description, we introduce the concept of energy to describe the optimization process and derive a sufficient condition ensuring its stability as long as the collective energy induced by the active workers remains below the energy of a target synchronous process. Making use of this criterion, we derive a stable distributed asynchronous optimization procedure, GEM, that estimates and maintains the energy of the asynchronous system below or equal to the energy of sequential SGD with momentum. Experimental results highlight the stability and speedup of GEM compared to existing schemes, even when scaling to one hundred asynchronous workers. Results also indicate better generalization compared to the targeted SGD with momentum.

研究动机与目标

• 解决在扩展至大量工作节点时，由于延迟更新和梯度陈旧性增加导致的分布式异步SGD不稳定性问题。
• 基于拉格朗日力学和能量动力学原理，构建一个理论基础框架，用于分析和稳定异步优化。
• 设计一种方法，确保工作节点间的集体稳定性，而无需依赖工作节点特定的超参数或降低学习率。
• 通过将有效批量大小分配给各个工作节点，实现在保持收敛性和泛化性能的同时，实现可扩展的高速训练。

提出的方法

• 在拉格朗日力学框架下形式化随机梯度下降，将动能定义为参数速度和动量的函数。
• 引入一个目标代理过程——带有动量的同步SGD——作为异步系统的稳定性基准。
• 推导出一个充分的稳定性条件：异步系统的总动能不得超过目标代理的动能。
• 提出GEM作为实用算法，通过缩放单个工作节点的梯度，估计并保持系统能量低于代理能量。
• 使用对代理能量的局部估计来计算每个工作节点更新的缩放因子，确保能量匹配，且无需全局同步。
• 采用反馈机制，根据当前系统与目标代理之间的相对能量差异，调整每个工作节点的梯度更新。

实验结果

研究问题

• RQ1 能否基于拉格朗日力学推导出的能量准则，稳定分布式异步SGD的动力学？
• RQ2 如何控制多个异步工作节点的集体行为，使其与一个稳定同步参考过程的动力学相匹配？
• RQ3 保持与目标代理的能量等价是否能提升大规模分布式训练中的收敛性和泛化性能？
• RQ4 GEM是否能在不依赖学习率衰减或工作节点特定超参数调优的情况下，有效扩展至数百个工作节点？

主要发现

• GEM在多达100个异步工作节点下实现了稳定训练，显著优于Downpour和DynSGD等基线方法，尤其在高工作节点数量下表现突出。
• 在MNIST数据集上，GEM即使在较大的学习率（η = 0.1）下仍保持稳定，而Downpour则发散，展现出对超参数误配置的强鲁棒性。
• 在ImageNet上使用AlexNet训练时，GEM在将每工作节点的批量大小减半的同时，将工作节点数加倍，仍实现了比基线方法更快的收敛速度和更低的训练损失。
• GEM在泛化性能上优于目标同步SGD（带动量），表明受控的异步性具有有益影响。
• 该方法通过高效地将有效批量大小分配给各工作节点，在保持稳定性的同时实现了显著的运行时间加速。
• 梯度更新的可视化显示，GEM动态调整各个张量分量以维持能量平衡，验证了算法内部的一致性。