[论文解读] Deep learning with Elastic Averaging SGD

Sixin Zhang, Anna Choromanska+1 more|arXiv (Cornell University)|Dec 20, 2014

Stochastic Gradient Optimization Techniques参考文献 28被引用 67

一句话总结

该论文提出弹性平均SGD（EASGD），一种在分布式设置下用于深度学习的通信高效随机优化算法。通过引入一种将本地工作节点参数与中心变量连接的弹性力，EASGD能够更充分地探索损失曲面，从而实现更快的收敛速度和更好的泛化性能——在CIFAR-10和ImageNet上实现了当前最优的速度提升，同时显著降低了通信开销。

ABSTRACT

We study the problem of stochastic optimization for deep learning in the parallel computing environment under communication constraints. A new algorithm is proposed in this setting where the communication and coordination of work among concurrent processes (local workers), is based on an elastic force which links the parameters they compute with a center variable stored by the parameter server (master). The algorithm enables the local workers to perform more exploration, i.e. the algorithm allows the local variables to fluctuate further from the center variable by reducing the amount of communication between local workers and the master. We empirically demonstrate that in the deep learning setting, due to the existence of many local optima, allowing more exploration can lead to the improved performance. We propose synchronous and asynchronous variants of the new algorithm. We provide the stability analysis of the asynchronous variant in the round-robin scheme and compare it with the more common parallelized method ADMM. We show that the stability of EASGD is guaranteed when a simple stability condition is satisfied, which is not the case for ADMM. We additionally propose the momentum-based version of our algorithm that can be applied in both synchronous and asynchronous settings. Asynchronous variant of the algorithm is applied to train convolutional neural networks for image classification on the CIFAR and ImageNet datasets. Experiments demonstrate that the new algorithm accelerates the training of deep architectures compared to DOWNPOUR and other common baseline approaches and furthermore is very communication efficient.

研究动机与目标

• 解决在带宽受限条件下分布式深度学习训练中的通信瓶颈问题。
• 通过参数弹性实现损失曲面的更充分探索，从而提升优化性能。
• 设计一种稳定且可扩展的算法，使其在速度和通信效率方面优于现有方法（如DOWNPOUR和ADMM）。
• 为该算法的异步变体提供理论上的稳定性保证。
• 在CIFAR-10和ImageNet等大规模图像分类基准上展示其实际有效性。

提出的方法

• EASGD引入一个中心变量（主节点），通过弹性力协调本地工作节点，该弹性力在目标函数中以二次惩罚项的形式建模。
• 算法采用对偶更新规则：本地工作节点基于随机梯度和与中心变量的偏差来更新参数，而中心变量则作为本地偏差的加权移动平均进行更新。
• 核心更新方程为：$ x^{i}_{t+1} = x^{i}_{t} - \eta(g^{i}_{t} + \rho(x^{i}_{t} - \tilde{x}_{t})) $ 和 $ \tilde{x}_{t+1} = \tilde{x}_{t} + \eta \sum_{i=1}^{p} \rho(x^{i}_{t} - \tilde{x}_{t}) $，其中 $ \rho $ 控制弹性程度。
• 该方法支持同步和异步训练模式，并提供基于动量的变体以加快收敛速度。
• 通过控制通信周期 $ \tau $，允许本地工作节点在与主节点同步前运行多个迭代，从而减少通信频率。
• 算法在Torch中实现，并使用MVAPICH2进行GPU-CPU通信，基于ResNet和AlexNet架构在CIFAR-10和ImageNet上进行了评估。

实验结果

研究问题

• RQ1 在分布式SGD训练中降低通信频率是否能提升收敛速度和模型性能？
• RQ2 在本地与中心参数之间引入弹性力是否能增强对损失曲面的探索，从而在深度学习中实现更好的泛化？
• RQ3 在相同的轮询通信方案下，EASGD的稳定性与ADMM相比如何？
• RQ4 EASGD的异步变体在实际通信约束下是否能保持收敛性和稳定性？
• RQ5 在训练速度和测试准确率方面，EASGD相较于基线方法（如DOWNPOUR和MSGD）的性能提升程度如何？

主要发现

• 在CIFAR-10和ImageNet上，EASGD的收敛速度优于DOWNPOUR及其他基线方法，当达到相同测试误差水平时，壁钟时间最高可提升2.5倍。
• 当通信周期 $ \tau = 10 $ 时，参数通信时间降至可忽略水平（1–11秒），相比总训练时间（1254–1323秒），显著降低了通信开销。
• 异步EAMSGD变体表现最佳，达到目标测试误差水平所用的壁钟时间少于所有其他方法，适用于CIFAR-10和ImageNet。
• EASGD在轮询通信方案下表现出稳定收敛，且在简单条件下可保证稳定性，而ADMM则缺乏此类理论保证。
• 基于动量的EASGD变体提升了收敛速度和泛化性能，尤其在异步设置下表现更优，且学习率按每个本地工作节点的时钟进行衰减。
• 对于 $ p=16 $ 个工作节点，即使通信频率降低，EASGD仍能保持较高的测试准确率，表现出对通信延迟的鲁棒性，并具备良好的可扩展性。