[论文解读] Communication Efficiency in Federated Learning: Achievements and Challenges

Osama Shahid, Seyedamin Pouriyeh+4 more|arXiv (Cornell University)|Jul 23, 2021

Privacy-Preserving Technologies in Data参考文献 76被引用 50

一句话总结

本综述分析了联邦学习中的通信效率，详细阐述了挑战与降低通信开销的方法。

ABSTRACT

Federated Learning (FL) is known to perform Machine Learning tasks in a distributed manner. Over the years, this has become an emerging technology especially with various data protection and privacy policies being imposed FL allows performing machine learning tasks whilst adhering to these challenges. As with the emerging of any new technology, there are going to be challenges and benefits. A challenge that exists in FL is the communication costs, as FL takes place in a distributed environment where devices connected over the network have to constantly share their updates this can create a communication bottleneck. In this paper, we present a survey of the research that is performed to overcome the communication constraints in an FL setting.

研究动机与目标

• 解释联邦学习的动机及其隐私保护效益。
• 识别并对联邦学习中的通信相关挑战进行分类。
• 综述并综合提高联邦学习通信效率的方法。
• 突出联邦学习通信研究中的空白点及未来方向。
• 将本工作定位为专注于FL通信的调查研究，而非通用的FL主题。

提出的方法

• 描述具有数据拥有者和中央服务器的FL体系结构。
• 介绍FL系统的类型（水平、垂直、联邦迁移）。
• 提出两个聚焦于通信挑战与效率方法的研究问题。
• 回顾关于局部更新、客户端选择、模型更新减少、去中心化训练和压缩的文献。
• 讨论现有综述并将本工作定位为专注于通信的调查研究。

实验结果

研究问题

• RQ1 与通信相关的联邦学习的关键挑战有哪些？
• RQ2 哪些方法可以使联邦学习的通信更加高效？

主要发现

• 识别主要的通信瓶颈：设备数量、网络带宽、边缘计算限制和数据异质性。
• 局部更新、客户端选择和模型更新量的减少可以减少通信轮次和交换的数据量。
• FedAvg、SCAFFOLD、FedDANE 与 FedPAQ 提供了缓解漂移和开销的策略。
• 在受限网络条件下，像 FedCS 和 MCML 这样的参与策略可以提升调度效果。
• 一次性与集成方法为频繁轮次更新提供替代方案。
• 去中心化和点对点学习结合压缩有助于提升通信效率。