[论文解读] FedScale: Benchmarking Model and System Performance of Federated Learning

Fan Lai, Yinwei Dai+2 more|arXiv (Cornell University)|May 24, 2021

Privacy-Preserving Technologies in Data参考文献 23被引用 13

一句话总结

FedScale 引入了一个全面的大规模、真实联邦学习（FL）数据集基准套件，涵盖图像分类、目标检测、自然语言处理、语音识别和强化学习等多个任务，同时提供一个标准化的评估平台，支持可复现、可扩展的联邦学习研究。该平台支持灵活的算法实现，并揭示了在系统效率与统计效率方面针对异构性的协同优化具有显著潜力。

ABSTRACT

We present FedScale, a diverse set of challenging and realistic benchmark datasets to facilitate scalable, comprehensive, and reproducible federated learning (FL) research. FedScale datasets are large-scale, encompassing a diverse range of important FL tasks, such as image classification, object detection, language modeling, speech recognition, and reinforcement learning. For each dataset, we provide a unified evaluation protocol using realistic data splits and evaluation metrics. To meet the pressing need for reproducing realistic FL at scale, we have also built an efficient evaluation platform to simplify and standardize the process of FL experimental setup and model evaluation. Our evaluation platform provides flexible APIs to implement new FL algorithms and includes new execution backends with minimal developer efforts. Finally, we perform indepth benchmark experiments on these datasets. Our experiments suggest fruitful opportunities in heterogeneity-aware co-optimizations of the system and statistical efficiency under realistic FL characteristics. FedScale is open-source with permissive licenses and actively maintained,1 and we welcome feedback and contributions from the community.

研究动机与目标

• 为解决在多样化机器学习任务中缺乏标准化、大规模且真实联邦学习基准的问题。
• 通过提供统一的数据划分和评估指标，实现可复现且可扩展的联邦学习研究。
• 通过一个高效、可扩展的评估平台和灵活的 API，减少设置联邦学习实验的工程开销。
• 识别并探索在真实联邦学习条件下，系统效率与统计性能之间协同优化的潜力。
• 通过以宽松的开源许可证发布 FedScale 并保持积极维护，促进社区驱动的开发。

提出的方法

• FedScale 构建了涵盖五项关键联邦学习任务的多样化大规模数据集：图像分类、目标检测、语言建模、语音识别和强化学习。
• 每个数据集均采用真实、非独立同分布（non-IID）的数据划分，以反映现实世界中客户端的数据分布。
• 建立统一的评估协议，规定所有任务和模型的一致性指标和训练流程。
• 实现一个可扩展的评估平台，提供灵活的 API，以支持新联邦学习算法和执行后端的便捷集成。
• 平台支持多种执行后端，开发者工作量最小化，从而实现高效且可复现的实验。
• 在所有数据集上开展基准测试实验，以评估在真实联邦学习特征下的系统性能和统计性能。

实验结果

研究问题

• RQ1 在多样、大规模且真实的数据集上，不同联邦学习算法在准确率和收敛速度方面的表现如何？
• RQ2 在真实数据和系统异构性条件下扩展联邦学习时，系统效率和统计性能的主要瓶颈是什么？
• RQ3 在真实设置中，系统与统计效率的协同优化能在多大程度上提升整体联邦学习性能？
• RQ4 当在标准化、真实的数据划分下评估时，现有联邦学习算法在不同类型联邦学习任务中的泛化能力如何？
• RQ5 数据异构性在联邦学习中对系统效率与统计效率之间性能权衡的影响是什么？

主要发现

• FedScale 实现了在多样化联邦学习任务上的可复现和标准化基准测试，显著降低了实验设置的复杂性。
• 该基准揭示了系统效率与统计效率之间高度相互依赖，尤其是在真实数据和系统异构性条件下。
• 针对异构性的协同优化系统与模型组件，可显著提升收敛速度和模型准确率。
• 评估平台显著降低了实现和测试新联邦学习算法的开发人员开销，加速了研究迭代。
• FedScale 的开源特性鼓励社区贡献并保障长期可维护性，从而增强了其对未来研究的实用价值。