[论文解读] Elastic Gossip: Distributing Neural Network Training Using Gossip-like Protocols

Siddharth Pramod|arXiv (Cornell University)|Dec 6, 2018

Reinforcement Learning in Robotics参考文献 23被引用 4

一句话总结

本文提出Elastic Gossip，一种新颖的类似gossip的神经网络训练分发协议，通过支持异步、成对参数平均来降低通信开销。该方法在Gossiping SGD的基础上引入自适应移动速率机制，实现了与All-reduce SGD相当的性能，同时显著降低了带宽使用，尤其在使用MLP和CNN的MNIST与CIFAR-10基准测试中表现优异。

ABSTRACT

Distributing Neural Network training is of particular interest for several reasons including scaling using computing clusters, training at data sources such as IOT devices and edge servers, utilizing underutilized resources across heterogeneous environments, and so on. Most contemporary approaches primarily address scaling using computing clusters and require high network bandwidth and frequent communication. This thesis presents an overview of standard approaches to distribute training and proposes a novel technique involving pairwise-communication using Gossip-like protocols, called Elastic Gossip. This approach builds upon an existing technique known as Elastic Averaging SGD (EASGD), and is similar to another technique called Gossiping SGD which also uses Gossip-like protocols. Elastic Gossip is empirically evaluated against Gossiping SGD using the MNIST digit recognition and CIFAR-10 classification tasks, using commonly used Neural Network architectures spanning Multi-Layer Perceptrons (MLPs) and Convolutional Neural Networks (CNNs). It is found that Elastic Gossip, Gossiping SGD, and All-reduce SGD perform quite comparably, even though the latter entails a substantially higher communication cost. While Elastic Gossip performs better than Gossiping SGD in these experiments, it is possible that a more thorough search over hyper-parameter space, specific to a given application, may yield configurations of Gossiping SGD that work better than Elastic Gossip.

研究动机与目标

• 为解决大规模异构环境中分布式SGD的高通信成本问题。
• 通过引入动态移动速率机制，改进现有基于gossip的训练方法（如Gossiping SGD）。
• 评估类似gossip的协议是否能在最小化网络带宽使用的同时，实现与集中式All-reduce SGD相当的性能。
• 探索在去中心化、边缘计算或隐私敏感系统中高效训练深度神经网络的可行性。

提出的方法

• Elastic Gossip采用成对通信模型，工作节点随机选择对等节点交换并平均模型参数。
• 通过引入控制参数平均程度的移动速率α，扩展了Elastic Averaging SGD（EASGD），实现自适应收敛。
• 每个工作节点执行本地SGD更新，并偶尔与随机选择的对等节点同步，使用伯努利分布的通信概率p以避免网络拥塞。
• 该方法结合Nesterov加速梯度（NAG）以加快收敛速度，并使用共享时钟确保通信前的同步。
• 算法通过α控制的加权平均动态更新参数，结合本地与对等节点参数。
• 通过概率触发机制（p）将通信与训练步骤解耦，降低网络负载，同时保持模型一致性。

实验结果

研究问题

• RQ1 类似gossip的协议是否能在显著降低通信开销的同时，实现与All-reduce SGD相当的训练性能？
• RQ2 Elastic Gossip中的移动速率α如何影响收敛速度与最终模型准确率？
• RQ3 在相同的超参数设置与数据集下，Elastic Gossip是否优于Gossiping SGD？
• RQ4 通信概率p与工作节点数量如何影响基于gossip的训练性能？
• RQ5 Elastic Gossip在带宽受限的异构或去中心化环境中可扩展到何种程度？

主要发现

• Elastic Gossip在MNIST上达到98.65%的测试准确率，在CIFAR-10上达到87.4%，与All-reduce SGD相当或略高。
• 在所有测试配置中，Elastic Gossip均优于Gossiping SGD，尤其在通信概率较低时表现更优。
• 最优移动速率α为0.5，当α值过低（0.1）或过高（0.9）时性能均下降。
• 通信概率p具有显著影响：当p低于0.125（有效周期τ = 8）时性能下降，表明带宽与收敛之间存在权衡。
• 尽管仅使用成对通信，Elastic Gossip仍实现了与All-reduce SGD相当的性能，后者依赖全同步与高带宽协调。
• 结果表明，Elastic Gossip是带宽受限或去中心化训练场景下All-reduce SGD的可行替代方案。