[论文解读] A Distributed Hierarchical SGD Algorithm with Sparse Global Reduction

Fan Zhou, Guojing Cong|arXiv (Cornell University)|Mar 12, 2019

Stochastic Gradient Optimization Techniques参考文献 27被引用 11

一句话总结

本文提出 Hier-AVG，一种分布式分层随机梯度下降算法，通过在稀疏的全局参数平均之前引入相邻工作者之间的局部平均，降低了通信开销。该方法在非凸问题上实现了标准收敛速率，相较于 K-AVG 实现了更快的训练速度和更高的测试准确率，并在大规模分布式学习系统中有效实现了局部通信与全局通信的权衡。

ABSTRACT

Reducing communication in training large-scale machine learning applications on distributed platform is still a big challenge. To address this issue, we propose a distributed hierarchical averaging stochastic gradient descent (Hier-AVG) algorithm with infrequent global reduction by introducing local reduction. As a general type of parallel SGD, Hier-AVG can reproduce several popular synchronous parallel SGD variants by adjusting its parameters. We show that Hier-AVG with infrequent global reduction can still achieve standard convergence rate for non-convex optimization problems. In addition, we show that more frequent local averaging with more participants involved can lead to faster training convergence. By comparing Hier-AVG with another popular distributed training algorithm K-AVG, we show that through deploying local averaging with fewer number of global averaging, Hier-AVG can still achieve comparable training speed while frequently get better test accuracy. This indicates that local averaging can serve as an alternative remedy to effectively reduce communication overhead when the number of learners is large. Experimental results of Hier-AVG with several state-of-the-art deep neural nets on CIFAR-10 and IMAGENET-1K are presented to validate our analysis and show its superiority.

研究动机与目标

• 通过减少全局参数平均的频率，解决大规模分布式机器学习中的高通信成本问题。
• 开发一种可扩展的分层随机梯度下降框架，在最小化全局通信的同时保持收敛保证。
• 证明局部平均可以有效替代频繁的全局减少，而不会牺牲训练速度或准确率。
• 为分层平均下的非凸优化问题提供收敛性的理论边界。
• 通过使用最先进深度神经网络在 CIFAR-10 和 ImageNet-1K 上实证验证 Hier-AVG 相较于 K-AVG 的优越性。

提出的方法

• Hier-AVG 引入了一种分层通信结构，其中工作者在全局平均之前与相邻的邻居执行多次局部平均步骤。
• 该算法采用批量同步并行机制，结合稀疏的全局减少，从而降低全局通信开销。
• 局部平均在树状或基于集群的拓扑结构上执行，实现局部组内高效的梯度交换。
• 通过交错执行局部和全局平均，控制梯度延迟，确保训练的稳定性和收敛性。
• 理论分析推导了在各种度量下期望平方梯度范数的非渐近边界，表明收敛可达到标准速率。
• 该框架通过参数调节可泛化多种现有并行 SGD 变体，包括 K-AVG 和 ASGD。

实验结果

研究问题

• RQ1 在分层随机梯度下降框架中，稀疏的全局平均是否仍能实现非凸优化问题的标准收敛速率？
• RQ2 增加局部平均频率并引入更多参与者的局部组，对训练收敛速度和测试准确率有何影响？
• RQ3 局部平均是否能有效降低全局通信频率而不损害训练性能？
• RQ4 在相同全局减少频率下，Hier-AVG 与 K-AVG 在训练速度和测试准确率方面有何比较？
• RQ5 局部平均结构、全局减少频率与收敛边界之间的理论关系是什么？

主要发现

• 通过推导期望平方梯度范数的非渐近边界，证明 Hier-AVG 在稀疏全局平均下可实现非凸优化问题的标准收敛速率。
• 更频繁的局部平均与更大的局部组可带来更快的训练收敛速度，并在测试准确率上持续优于 K-AVG。
• Hier-AVG 在保持与 K-AVG 相当的训练速度的同时，通过有效的局部平均降低了全局通信频率，从而实现了更高的测试准确率。
• 理论分析表明，随着局部平均频率提高和局部组规模增大，Hier-AVG 的训练速度得以提升。
• 在 CIFAR-10 和 ImageNet-1K 上的实证结果表明，Hier-AVG 在多种深度神经网络架构下均优于 K-AVG，展现出更高的测试准确率和通信效率。
• 边界分析确认，当使用局部平均时，Hier-AVG 的收敛性能优于 K-AVG，尤其在高通信场景下表现更优。