[论文解读] Efficient and Less Centralized Federated Learning

Li Der Chou, Zichang Liu+2 more|arXiv (Cornell University)|Jun 11, 2021

Privacy-Preserving Technologies in Data参考文献 27被引用 4

一句话总结

该论文提出 FedP2P，一种去中心化的联邦学习框架，通过在本地设备网络中实现点对点（P2P）模型聚合，减少了通信瓶颈，同时保留在最小程度的中心服务器角色。通过利用网络拓扑实现高效的本地通信，FedP2P 在相同训练条件下相比集中式 FedAvg 实现了 10 倍更高的通信效率和高达 8% 的准确率提升。

ABSTRACT

With the rapid growth in mobile computing, massive amounts of data and computing resources are now located at the edge. To this end, Federated learning (FL) is becoming a widely adopted distributed machine learning (ML) paradigm, which aims to harness this expanding skewed data locally in order to develop rich and informative models. In centralized FL, a collection of devices collaboratively solve a ML task under the coordination of a central server. However, existing FL frameworks make an over-simplistic assumption about network connectivity and ignore the communication bandwidth of the different links in the network. In this paper, we present and study a novel FL algorithm, in which devices mostly collaborate with other devices in a pairwise manner. Our nonparametric approach is able to exploit network topology to reduce communication bottlenecks. We evaluate our approach on various FL benchmarks and demonstrate that our method achieves 10X better communication efficiency and around 8% increase in accuracy compared to the centralized approach.

研究动机与目标

• 解决因过度依赖单一中心服务器而导致的集中式联邦学习中的通信低效问题。
• 通过在设备之间实现本地 P2P 模型聚合，减轻中心服务器的通信负载。
• 在具有可变带宽和频繁断连的异构、动态边缘网络中，提升可扩展性和鲁棒性。
• 利用网络拓扑最小化模型同步过程中的通信跳数和延迟。
• 证明去中心化的 P2P 通信在效率和准确率方面优于传统的客户端-服务器联邦学习。

提出的方法

• 基于有利的网络拓扑（如设备间距离近或延迟低）将设备随机划分为本地 P2P 网络。
• 在每个 P2P 网络内，设备使用 Allreduce 执行成对模型聚合，以同步本地模型更新。
• 中心服务器仅与每个 P2P 网络中的一个代表设备通信，从而大幅降低其通信负载。
• 全局模型通过聚合每个 P2P 网络的聚合参数进行更新，而非直接从单个设备聚合。
• 该方法采用随机划分策略，可在无需事先了解数据分布的情况下实现拓扑感知的分组。
• 通信效率通过上传/下载带宽比（α）、服务器到设备带宽比（γ）以及采样设备数量（P）等参数进行建模。

实验结果

研究问题

• RQ1 在本地设备组内采用点对点通信是否能减轻联邦学习中中心服务器的通信负担？
• RQ2 利用网络拓扑进行设备分组对通信效率和模型收敛性有何影响？
• RQ3 在真实网络条件下，FedP2P 是否在通信效率和模型准确率方面优于 FedAvg？
• RQ4 FedP2P 对在训练过程中发生故障或掉线的慢速设备（straggler）有多大的鲁棒性？
• RQ5 P2P 网络数量（L）和每个网络中的设备数量（Q）的变化对模型性能有何影响？

主要发现

• 在使用相同设备数量训练时，FedP2P 的通信时间相比 FedAvg 快了 10 倍。
• 在相同通信轮次下，FedP2P 在基准数据集上的测试准确率相比 FedAvg 提高了约 8%。
• 即使 50% 的选中设备作为慢速设备被丢弃，FedP2P 仍能保持高准确率和稳定的收敛过程，而 FedAvg 的性能显著下降。
• 该方法对 P2P 网络数量（L）和每个网络中的设备数量（Q）的变化具有鲁棒性，对最终模型准确率的影响极小。
• 当采样设备数量超过 500 且设备带宽相对较高（γ ≤ 100）时，FedP2P 在通信效率方面优于 FedAvg。
• 在具有高带宽设备和每轮数千名参与者的实际大规模联邦学习场景下，FedP2P 的性能优势最为显著。