[论文解读] FedML: A Research Library and Benchmark for Federated Machine Learning

Chaoyang He, Songze Li+18 more|arXiv (Cornell University)|Jul 27, 2020

Privacy-Preserving Technologies in Data参考文献 151被引用 357

一句话总结

FedML 提供一个开放的研究库和联邦学习基准，支持多样的计算范式、灵活的拓扑、标准化基线，以及真实硬件测试平台，以实现公平比较和在 FL 研究中的快速迭代。

ABSTRACT

Federated learning (FL) is a rapidly growing research field in machine learning. However, existing FL libraries cannot adequately support diverse algorithmic development; inconsistent dataset and model usage make fair algorithm comparison challenging. In this work, we introduce FedML, an open research library and benchmark to facilitate FL algorithm development and fair performance comparison. FedML supports three computing paradigms: on-device training for edge devices, distributed computing, and single-machine simulation. FedML also promotes diverse algorithmic research with flexible and generic API design and comprehensive reference baseline implementations (optimizer, models, and datasets). We hope FedML could provide an efficient and reproducible means for developing and evaluating FL algorithms that would benefit the FL research community. We maintain the source code, documents, and user community at https://fedml.ai.

研究动机与目标

• 解决在多样拓扑、数据分布和训练过程方面缺乏灵活的、支持多范式的 FL 库的问题。
• 提供标准化的算法实现和基准，以便进行公平的性能比较。
• 支持设备端、分布式和单机 FL 仿真，以覆盖实际的研究需求。
• 促进真实世界的硬件测试（移动设备和物联网）以评估系统级的 FL 性能。
• 打造一个开放、持续演进的平台，鼓励社区贡献和数据集，以覆盖广泛的 FL 研究领域。

提出的方法

• 将 FedML 作为端到端的 FL 算法开发和在跨计算范式中的公平评估工具包。
• 描述具有两个主要组件的架构：FedML-core（底层）和 FedML-API（高层）。
• 解释 TopologyManager 用于多样的网络拓扑以及面向工作节点的编程接口，以实现灵活的消息流。
• 详细介绍建立在真实硬件上的设备端 FL 测试平台（FedML-Mobile 和 FedML-IoT）。
• 展示带有定义数据集、模型和非 IID 分区的标准基线和基准，以实现公平比较。
• 概述对隐私、安全和鲁棒性 API 的支持，包括密码原语和鲁棒聚合方法。

实验结果

研究问题

• RQ1 如何通过一个支持多样计算范式和拓扑的灵活库来加速 FL 研究？
• RQ2 标准化的算法实现和基准能否在非 IID 分布和不同数据集之间实现公平性能比较？
• RQ3 硬件现实化的设备端 FL 测试平台对训练效率和可扩展性有何影响？
• RQ4 在一个模块化、可扩展的框架中，FedML 如何兼容隐私、安全和鲁棒性？

主要发现

• FedML 提供对三种范式的端到端支持：设备端训练、分布式计算和单机仿真。
• FedML 引入面向工作节点的编程模型，使消息流和拓扑自定义更具灵活性，超越梯度和模型。
• 标准化的基线（例如 FedAvg、Decentralized FL、Vertical FL、Split Learning、FedNAS）被包含在内，以促进公平比较与可重复性。
• 基准数据集和分区方法被明确定义，以确保在线性、浅层和深度神经网络上的一致、公平评估。
• 实验表明在非 IID 设置下准确率低于 IID，并且分布式计算在大型 CNN 上相对于独立仿真提供了显著的训练时间优势。