[论文解读] FLGo: A Fully Customizable Federated Learning Platform

Zheng Wang, Xiaoliang Fan+7 more|arXiv (Cornell University)|Jun 21, 2023

Privacy-Preserving Technologies in Data被引用 4

一句话总结

FLGo 是一个轻量级、完全可定制的联邦学习平台，通过插件化架构实现高可共享性，开箱即用提供 40 多项基准测试、20 多种算法以及 2 个系统模拟器。它支持可定制的数据异构性和系统异构性、异步训练，以及并行加速、超参数自动调优等实验工具，显著降低了跨应用联邦学习研究的定制复杂度。

ABSTRACT

Federated learning (FL) has found numerous applications in healthcare, finance, and IoT scenarios. Many existing FL frameworks offer a range of benchmarks to evaluate the performance of FL under realistic conditions. However, the process of customizing simulations to accommodate application-specific settings, data heterogeneity, and system heterogeneity typically remains unnecessarily complicated. This creates significant hurdles for traditional ML researchers in exploring the usage of FL, while also compromising the shareability of codes across FL frameworks. To address this issue, we propose a novel lightweight FL platform called FLGo, to facilitate cross-application FL studies with a high degree of shareability. Our platform offers 40+ benchmarks, 20+ algorithms, and 2 system simulators as out-of-the-box plugins. We also provide user-friendly APIs for quickly customizing new plugins that can be readily shared and reused for improved reproducibility. Finally, we develop a range of experimental tools, including parallel acceleration, experiment tracker and analyzer, and parameters auto-tuning. FLGo is maintained at \url{flgo-xmu.github.io}.

研究动机与目标

• 解决在特定应用设置、数据异构性和系统异构性下定制联邦学习（FL）仿真时面临的高复杂度和低代码可重用性问题。
• 克服现有联邦学习框架虽提供基准测试和算法，但缺乏标准化、可重用的定制机制的局限性。
• 使研究人员能够轻松开发、共享和重用自定义插件，用于基准测试、算法和系统模拟器，以提升可复现性与跨框架协作能力。
• 提供统一的实验环境，集成并行执行、实验追踪和超参数调优等工具，以简化联邦学习评估流程。

提出的方法

• 将基准测试、算法和系统模拟器实现为独立的可插拔组件，解耦功能，提升可重用性。
• 设计插件库，支持开发者分发和共享本地定制的插件，促进代码重用与社区驱动的扩展。
• 集成 40 多项标准化基准测试，涵盖多样化数据集（如 CIFAR-10、Shakespeare、Reddit）和数据分布模式（IID、Dirichlet、Louvain）。
• 支持 20 多种联邦学习算法，包括 FedAvg、FedProx、Scaffold 和 FedNova，支持可配置的训练与聚合策略。
• 提供两个系统模拟器，用于建模客户端侧的异构性，包括客户端可用性、完整性、连通性和响应速度。
• 集成实验工具，如并行加速、实验追踪与分析器、以及自动超参数调优，以提升效率与可复现性。

Figure 1: FLGo implements benchmarks, simulators, and algorithms as independent plugins, where developers can download plugins and share locally customized plugins through a plugin library.

实验结果

研究问题

• RQ1 能否设计一个联邦学习平台，在支持高度定制化的同时，保持在多样化应用场景下的高代码可共享性？
• RQ2 基于插件的架构在多大程度上能降低联邦学习实验中模拟数据与系统异构性的复杂度？
• RQ3 在不同数据与系统异构性配置下，各种联邦学习算法的性能表现如何？平台是否能有效支持此类对比评估？
• RQ4 与同步方法相比，异步训练策略在复杂、真实的异构性组合下是否能显著降低训练时间成本？
• RQ5 平台的可扩展性与工具支持在多大程度上提升了跨应用联邦学习研究中的可复现性与可扩展性？

主要发现

• 在所有数据集和异构性设置中，并无单一联邦学习算法始终优于其他算法；在 Cora 数据集的 Louvain 分布下，FedAvg 表现最佳，而 Scaffold 在 IID 数据上表现更优。
• 与 IID 设置相比，非 IID 数据分布在所有算法中均一致地降低模型性能，FashionMNIST 和 Reddit 数据集均观察到性能下降。
• 客户端可用性异构性对模型性能产生显著负面影响，尤其在数据异构性与可用性异构性同时存在时，性能最差。
• 客户端完整性异构性降低训练效率，尽管 FedNova 设计为具有鲁棒性，但在 FashionMNIST 上仍表现不如 FedAvg 和 FedProx，原因在于短模型更新被过度放大。
• 客户端连通性降低会增加训练时间成本，尤其在 Reddit 的非 IID 设置下，性能显著下降。
• 在复杂异构性条件下，异步训练（FedAsync）相比同步方法可降低时间成本，但在非 IID 场景下，经过相同次数的聚合后，其模型性能仍劣于 FedAvg 和 FedProx。

Figure 2: The main workflow in FLGo.