[论文解读] Communication-Efficient Decentralized Learning with Sparsification and Adaptive Peer Selection

Zhenheng Tang, Shaohuai Shi+1 more|ArXiv.org|Feb 22, 2020

Stochastic Gradient Optimization Techniques参考文献 27被引用 11

一句话总结

该论文提出SAPS-PSGD，一种通信高效的去中心化学习算法，通过结合模型稀疏化与自适应同伴选择，减少通信流量并利用高带宽链路。通过让每个工作者仅与一个动态选择的同伴通信，并交换高度压缩的模型，该方法实现了高达99.5%的通信量减少，且收敛时间显著快于现有方法，同时具备理论收敛保证。

ABSTRACT

Distributed learning techniques such as federated learning have enabled multiple workers to train machine learning models together to reduce the overall training time. However, current distributed training algorithms (centralized or decentralized) suffer from the communication bottleneck on multiple low-bandwidth workers (also on the server under the centralized architecture). Although decentralized algorithms generally have lower communication complexity than the centralized counterpart, they still suffer from the communication bottleneck for workers with low network bandwidth. To deal with the communication problem while being able to preserve the convergence performance, we introduce a novel decentralized training algorithm with the following key features: 1) It does not require a parameter server to maintain the model during training, which avoids the communication pressure on any single peer. 2) Each worker only needs to communicate with a single peer at each communication round with a highly compressed model, which can significantly reduce the communication traffic on the worker. We theoretically prove that our sparsification algorithm still preserves convergence properties. 3) Each worker dynamically selects its peer at different communication rounds to better utilize the bandwidth resources. We conduct experiments with convolutional neural networks on 32 workers to verify the effectiveness of our proposed algorithm compared to seven existing methods. Experimental results show that our algorithm significantly reduces the communication traffic and generally select relatively high bandwidth peers.

研究动机与目标

• 为解决去中心化与联邦学习中的通信瓶颈，特别是在低带宽工作者上的问题。
• 消除对中央参数服务器的需求，以避免单点通信瓶颈。
• 通过模型稀疏化与单同伴通信，降低每个工作者的通信开销。
• 通过在每轮通信中动态选择高带宽同伴，提升带宽利用率。
• 在大幅减少通信量的同时保持收敛性能。

提出的方法

• 该算法使用Top-k稀疏化对模型更新进行压缩，仅保留最大幅值的参数，将99–99.9%的梯度置零。
• 每个工作者每轮仅与一个同伴通信，将每轮每个工作者的通信复杂度降低至O(1)。
• 自适应同伴选择在每轮动态选择可用带宽最高的同伴，以优化通信效率。
• 该方法完全去中心化运行，无需中央参数服务器，从而实现容错性与可扩展性。
• 理论分析证明在标准假设下具有收敛性，收敛速率与标准PSGD相当。
• 应用误差补偿机制，以在稀疏化过程中保持模型精度。

实验结果

研究问题

• RQ1 去中心化学习算法是否能在不牺牲收敛速度的前提下实现显著的通信量减少？
• RQ2 自适应同伴选择在异构带宽环境下的通信效率有何影响？
• RQ3 稀疏化与单同伴通信的结合是否能在去中心化训练中保持收敛保证？
• RQ4 与集中式和去中心化基线方法相比，所提方法在通信流量与时间方面表现如何？
• RQ5 带宽异构性对采用自适应同伴选择的去中心化学习性能有何影响？

主要发现

• 与PSGD和FedAvg等基线方法相比，SAPS-PSGD将通信流量减少高达99.5%，在MNIST-CNN上仅产生10 MB通信流量。
• 在CIFAR10-CNN上，SAPS-PSGD的通信时间仅为75秒，优于S-FedAvg（680秒）和DCD-PSGD（144,000秒）。
• 该算法始终选择高带宽同伴，提升了带宽利用率，并在异构网络中显著缩短了通信时间。
• SAPS-PSGD保持了与标准PSGD相当的收敛性能，且具有收敛速率的理论保证。
• 在32个工作者的实验中，SAPS-PSGD在ResNet-20上50秒内达到目标精度，远快于D-PSGD（118,000秒）。
• 与DCD-PSGD相比，SAPS-PSGD在ResNet-20上将通信时间减少高达99.6%，在低带宽环境下展现出强大的可扩展性。