[论文解读] Leader Stochastic Gradient Descent for Distributed Training of Deep Learning Models

Yunfei Teng, Wenbo Gao+4 more|arXiv (Cornell University)|Jan 1, 2019

Stochastic Gradient Optimization Techniques参考文献 32被引用 4

一句话总结

该论文提出了一种名为领导者随机梯度下降（Leader Stochastic Gradient Descent, LSGD）的通信高效分布式优化方法，用于深度学习。该方法利用‘领导者’工作者的参数来引导更新，避免了因参数平均和对称性陷阱导致的收敛问题。LSGD在减少通信开销的同时，实现了卷积神经网络上的最先进性能。

ABSTRACT

We consider distributed optimization under communication constraints for training deep learning models. We propose a new algorithm, whose parameter updates rely on two forces: a regular gradient step, and a corrective direction dictated by the currently best-performing worker (leader). Our method differs from the parameter-averaging scheme EASGD in a number of ways: (i) our objective formulation does not change the location of stationary points compared to the original optimization problem; (ii) we avoid convergence decelerations caused by pulling local workers descending to different local minima to each other (i.e. to the average of their parameters); (iii) our update by design breaks the curse of symmetry (the phenomenon of being trapped in poorly generalizing sub-optimal solutions in symmetric non-convex landscapes); and (iv) our approach is more communication efficient since it broadcasts only parameters of the leader rather than all workers. We provide theoretical analysis of the batch version of the proposed algorithm, which we call Leader Gradient Descent (LGD), and its stochastic variant (LSGD). Finally, we implement an asynchronous version of our algorithm and extend it to the multi-leader setting, where we form groups of workers, each represented by its own local leader (the best performer in a group), and update each worker with a corrective direction comprised of two attractive forces: one to the local, and one to the global leader (the best performer among all workers). The multi-leader setting is well-aligned with current hardware architecture, where local workers forming a group lie within a single computational node and different groups correspond to different nodes. For training convolutional neural networks, we empirically demonstrate that our approach compares favorably to state-of-the-art baselines.

研究动机与目标

• 通过减少参数同步的频率和体积，缓解分布式深度学习训练中的通信瓶颈。
• 克服因将处于不同局部极小值的工作者参数进行平均而导致的收敛性能下降问题。
• 在非凸损失曲面中打破对称性，避免陷入对称性导致的次优解而造成泛化性能差。
• 设计一种与现代多节点硬件架构相匹配的可扩展优化框架，采用本地领导者和全局领导者机制。
• 相比 EASGD 和标准同步 SGD 等现有方法，提升训练效率和模型性能。

提出的方法

• 该算法在标准梯度步长的基础上，引入一种由当前表现最佳的工作者（即领导者）参数导出的校正更新方向。
• 将领导者参数广播至所有工作者，相比完整参数平均，显著降低了通信成本。
• 对批量版本 Leader Gradient Descent（LGD）进行了理论分析，证明其在非凸设置下的收敛性。
• 随机变体 LSGD 扩展了该方法至小批量训练，并提供了理论保证。
• 开发了异步实现，以提升训练吞吐量和可扩展性。
• 引入多领导者扩展机制，即每个节点内的工作者被分组，每组拥有一个本地领导者，更新方向同时受本地和全局领导者的影响。

实验结果

研究问题

• RQ1 在通信受限条件下，基于领导者校正机制是否能改善分布式深度学习中的收敛性和泛化性能？
• RQ2 与参数平均相比，基于领导者更新策略在收敛速度和最终模型准确率方面表现如何？
• RQ3 领导者机制是否能有效打破非凸优化曲面中的对称性，避免陷入性能较差的局部极小值？
• RQ4 仅广播领导者参数在多大程度上能提升通信效率，同时不损害模型性能？
• RQ5 多领导者架构在真实硬件环境中如何映射，并在多节点环境下实现有效扩展？

主要发现

• 所提出的 LSGD 算法在卷积神经网络上实现了与最先进基线方法相当或更优的测试准确率。
• 该方法避免了因将参数拉向发散局部极小值的平均值而导致的收敛速度下降问题。
• 通过利用领导者参数，算法打破了对称性，降低了收敛到泛化性能差的解的风险。
• 通信效率显著提升，因为仅需广播领导者参数，而非所有工作者的参数。
• 多领导者扩展有效映射到硬件节点，实现了跨集群的可扩展且高效的分布式训练。
• 实验结果表明，基于领导者的方法在训练准确率和收敛稳定性方面优于 EASGD 和标准 SGD。