[论文解读] FedAT: A Communication-Efficient Federated Learning Method with Asynchronous Tiers under Non-IID Data.

Zheng Chai, Yujing Chen+3 more|arXiv (Cornell University)|Oct 12, 2020

Privacy-Preserving Technologies in Data参考文献 16被引用 68

一句话总结

FedAT 是一种通信高效的联邦学习方法，通过结合同步的同层内训练与异步的跨层训练，缓解非独立同分布（non-IID）数据下的慢速客户端（straggler）效应，并减少通信瓶颈。通过采用考虑慢速客户端的加权聚合方法以及基于折线编码的压缩技术，FedAT 相较于最先进方法，模型准确率最高提升 21.09%，通信成本最高降低 8.5 倍。

ABSTRACT

Federated learning (FL) involves training a model over massive distributed devices, while keeping the training data localized. This form of collaborative learning exposes new tradeoffs among model convergence speed, model accuracy, balance across clients, and communication cost, with new challenges including: (1) straggler problem, where the clients lag due to data or (computing and network) resource heterogeneity, and (2) communication bottleneck, where a large number of clients communicate their local updates to a central server and bottleneck the server. Many existing FL methods focus on optimizing along only one dimension of the tradeoff space. Existing solutions use asynchronous model updating or tiering-based synchronous mechanisms to tackle the straggler problem. However, the asynchronous methods can easily create a network communication bottleneck, while tiering may introduce biases as tiering favors faster tiers with shorter response latencies. To address these issues, we present FedAT, a novel Federated learning method with Asynchronous Tiers under Non-i.i.d. data. FedAT synergistically combines synchronous intra-tier training and asynchronous cross-tier training. By bridging the synchronous and asynchronous training through tiering, FedAT minimizes the straggler effect with improved convergence speed and test accuracy. FedAT uses a straggler-aware, weighted aggregation heuristic to steer and balance the training for further accuracy improvement. FedAT compresses the uplink and downlink communications using an efficient, polyline-encoding-based compression algorithm, therefore minimizing the communication cost. Results show that FedAT improves the prediction performance by up to 21.09%, and reduces the communication cost by up to 8.5x, compared to state-of-the-art FL methods.

研究动机与目标

• 解决由客户端资源与数据异构性引起的联邦学习中的慢速客户端问题。
• 减少大规模联邦学习系统中频繁上行与下行传输导致的通信瓶颈。
• 在非独立同分布数据分布下，平衡异构客户端之间的模型收敛性与准确性。
• 通过高效的压缩技术最小化通信成本，同时不牺牲模型性能。
• 设计一种混合训练策略，协同结合同步的同层内更新与异步的跨层更新。

提出的方法

• FedAT 根据客户端的训练速度与资源可用性将其划分为不同层级，以管理慢速客户端效应。
• 在每层内部采用同步训练，以确保模型更新的一致性并降低方差。
• 跨层的异步训练允许较快的层级独立推进，减少空闲时间，提升收敛速度。
• 采用考虑慢速客户端的加权聚合启发式方法，根据客户端的可靠性与性能动态调整其贡献，以平衡模型更新。
• 对上行与下行通信均应用基于折线编码的压缩技术，以最小化带宽使用并降低通信成本。
• 该方法将分层架构与自适应聚合及压缩技术相结合，在保持模型准确率的同时提升效率。

实验结果

研究问题

• RQ1 在非独立同分布数据下，联邦学习系统如何有效缓解由客户端异构性引起的慢速客户端问题？
• RQ2 异步跨层训练在不降低模型准确率的前提下，能在多大程度上提升收敛速度？
• RQ3 与纯同步或异步方法相比，同步同层内与异步跨层更新相结合的混合训练策略是否能更有效地减少通信瓶颈？
• RQ4 考虑慢速客户端的加权聚合机制在平衡客户端贡献与提升模型准确率方面有多有效？
• RQ5 在大规模联邦学习中，基于折线编码的压缩技术对通信成本与模型性能有何影响？

主要发现

• 在非独立同分布数据下，FedAT 相较于最先进联邦学习方法，预测性能最高提升 21.09%。
• 通过高效压缩上行与下行更新，该方法将通信成本最高降低 8.5 倍。
• 同步同层内与异步跨层更新相结合的混合训练策略显著减轻了慢速客户端效应，并加速了收敛。
• 考虑慢速客户端的加权聚合机制通过根据客户端可靠性动态调整贡献，提升了模型准确率。
• FedAT 在最小化通信开销的同时保持了高模型准确率，展现出在异构客户端环境中的强大可扩展性。
• 分层、自适应聚合与压缩技术的结合，实现了收敛速度、准确率与通信效率之间的良好平衡。