[论文解读] FederatedScope: A Flexible Federated Learning Platform for Heterogeneity

Yuexiang Xie, Zhen Wang+7 more|arXiv (Cornell University)|Apr 11, 2022

Privacy-Preserving Technologies in Data被引用 6

一句话总结

FederatedScope 是一个灵活的联邦学习平台，通过事件驱动的架构，旨在处理数据、资源、行为和学习目标方面的多样化异质性。它支持自定义参与者行为，兼容异步训练，并集成插件以实现隐私保护、攻击模拟和超参数调优，显著提升了联邦学习的灵活性与实际部署能力。

ABSTRACT

Although remarkable progress has been made by existing federated learning (FL) platforms to provide infrastructures for development, these platforms may not well tackle the challenges brought by various types of heterogeneity, including the heterogeneity in participants' local data, resources, behaviors and learning goals. To fill this gap, in this paper, we propose a novel FL platform, named FederatedScope, which employs an event-driven architecture to provide users with great flexibility to independently describe the behaviors of different participants. Such a design makes it easy for users to describe participants with various local training processes, learning goals and backends, and coordinate them into an FL course with synchronous or asynchronous training strategies. Towards an easy-to-use and flexible platform, FederatedScope enables rich types of plug-in operations and components for efficient further development, and we have implemented several important components to better help users with privacy protection, attack simulation and auto-tuning. We have released FederatedScope at https://github.com/alibaba/FederatedScope to promote academic research and industrial deployment of federated learning in a wide range of scenarios.

研究动机与目标

• 解决现有联邦学习平台在处理数据、资源、行为和学习目标方面多样化异质性时的局限性。
• 通过事件驱动架构实现灵活的、用户自定义的参与者行为，将训练逻辑与协调逻辑解耦。
• 支持同步与异步训练策略，以适应现实部署中的资源异质性。
• 支持个性化联邦学习、异质学习目标和隐私保护训练等高级联邦学习用例。
• 提供可扩展的插件组件，支持差分隐私、攻击模拟和超参数优化等关键功能。

提出的方法

• 采用事件驱动架构，每个参与者的操作由事件-处理器对定义，实现独立且可自定义的训练流程。
• 将协调逻辑与参与者行为解耦，支持通过多种策略（同步/异步）灵活编排训练轮次。
• 支持多种消息类型（如模型权重、梯度、嵌入）的交换，以适应异质通信模式。
• 通过模块化组件实现后端无关的训练，支持客户端的多样化计算图与配置。
• 集成插件模块实现差分隐私（DP）、成员推断攻击和超参数优化（HPO），采用 FedEx、SHA 和随机搜索等方法。
• 设计模块化组件系统，允许用户在不修改核心逻辑的前提下插入新功能。

实验结果

研究问题

• RQ1 联邦学习平台如何有效支持由数据、资源和学习目标异质性引发的多样化参与者行为？
• RQ2 与单体或刚性框架相比，事件驱动架构在多大程度上能提升联邦学习平台的灵活性与可扩展性？
• RQ3 在真实攻击场景下，集成差分隐私等隐私保护机制如何影响联邦学习中的模型效用？
• RQ4 尽管收敛更慢，细粒度的超参数优化方法（如 FedEx）是否能在最终模型性能上超越标准 HPO 方法？
• RQ5 异步训练策略在异质联邦学习环境中如何缓解慢速或不可靠客户端的影响？

主要发现

• FederatedScope 通过事件驱动的事件-处理器对，实现了灵活的、面向参与者的定制化训练流程，支持多样化行为与学习目标。
• 该平台通过排除 FedBN 中的 BatchNorm 层参数，降低了通信开销；在 Ditto 中通过支持客户端特定微调，提升了鲁棒性。
• 通过注入噪声实施差分隐私，当噪声客户端比例从 0% 增加到 100% 时，测试准确率从 84% 下降至 65%，清晰展示了隐私与效用之间的权衡。
• 基于 DLG 的隐私攻击能够从非私有客户端成功重构训练数据，但在使用 DP 的客户端上失败，证实了 FederatedScope 中差分隐私的有效性。
• 集成到 FederatedScope 中的细粒度 HPO 方法 FedEx，尽管收敛更慢，但相比其封装方法（RS/SHA），显著提升了测试准确率（如 82.1% vs. 79.3%）。
• 平台的模块化插件设计支持隐私、安全与优化组件的无缝集成，显著增强了实际可用性与研究可扩展性。