[论文解读] FLUTE: A Scalable, Extensible Framework for High-Performance Federated Learning Simulations

Mirian Hipolito Garcia, Andre Manoel+4 more|arXiv (Cornell University)|Mar 25, 2022

Privacy-Preserving Technologies in Data被引用 22

一句话总结

FLUTE 是一个开源平台，用于高性能、大规模联邦学习仿真，具备灵活的 API、异步的服务器-客户端架构，以及相对于其他平台的显著速度和内存优势。

ABSTRACT

In this paper we introduce "Federated Learning Utilities and Tools for Experimentation" (FLUTE), a high-performance open-source platform for federated learning research and offline simulations. The goal of FLUTE is to enable rapid prototyping and simulation of new federated learning algorithms at scale, including novel optimization, privacy, and communications strategies. We describe the architecture of FLUTE, enabling arbitrary federated modeling schemes to be realized. We compare the platform with other state-of-the-art platforms and describe available features of FLUTE for experimentation in core areas of active research, such as optimization, privacy, and scalability. A comparison with other established platforms shows speed-ups of up to 42x and savings in memory footprint of 3x. A sample of the platform capabilities is also presented for a range of tasks, as well as other functionality, such as linear scaling for the number of participating clients, and a variety of federated optimizers, including FedAdam, DGA, etcetera.

研究动机与目标

• 实现可扩展FL算法的快速原型开发和离线仿真。
• 提供一个灵活、可扩展的框架，用于在FL中测试优化、隐私和通信策略。
• 通过可重用的API，实现端到端、在规模化下（数百万客户端）的高性能仿真。
• 提供相对于现有FL仿真平台的基准测试和对比，以验证性能提升。

提出的方法

• 采用服务器-客户端架构，中央服务器协调许多异步工作节点。
• 使用 PyTorch + torch.distributed 作为通信骨干，并采用基于消息的服务器–工作节点协议。
• 在工作节点上预加载训练数据，以最小化服务器–客户端通信，仅传输索引、参数或梯度。
• 实现各种联邦优化算法（FedAvg、FedAdam、FedYogi、DGA 等），包括差分隐私和带宽感知的梯度压缩。
• 通过全局模型与本地模型之间的凸插值来支持个性化，并为基于Transformer的模型提供适配器。
• 提供与 AzureML 的集成，用于实验跟踪与扩展，以及独立的 GPU/CPU 部署。

实验结果

研究问题

• RQ1 如何在可观的周转时间内将联邦学习仿真扩展到数百万客户端？
• RQ2 哪些架构选择（服务器–客户端、异步处理）在速度、内存使用和灵活性之间提供最佳折衷，适用于FL实验？
• RQ3 在大规模离线仿真中，最先进的FL优化、隐私和带宽技术的性能如何？
• RQ4 就速度、内存占用和可扩展性而言，FLUTE 与现有的 FL 仿真平台相比如何？
• RQ5 在非独立同分布数据下，个性化和基于适配器的联邦训练对通信和性能的影响是什么？

主要发现

• FLUTE 相比两个领先的 FL 仿真平台（FedML 和 Flower），实现了高达 42x 的速度提升和约 3x 的内存节省。
• 该架构实现了客户端的自然按需实例化和异步处理，将工作节点数量与客户端数量解耦，从而实现对数百万客户端的扩展。
• 在GPU上比较 Flower，FLUTE（GPU）快最多 54x；在 CPU 上，使用 Gloo 后端的 FLUTE 比 Flower 快 9x。
• 量化和稀疏化实验在某些设置下显示带宽提升高达 16x，且精度损失很小。
• 在情感任务中，联邦化适配器而不是整个Transformer模型可以在数据分布（iid 与 non-iid）下实现大约 121x 的带宽节省，同时获得相似或更高的准确性。
• 该平台支持广泛的 FL 优化器（FedAvg、FedAdam、DGA、SCAFFOLD、FedProx 等）以及隐私/带宽增强技术，具备用于新模型和数据格式的灵活 API。