[论文解读] FedEval: A Holistic Evaluation Framework for Federated Learning

Di Chai, Leye Wang+4 more|arXiv (Cornell University)|Nov 19, 2020

Privacy-Preserving Technologies in Data参考文献 46被引用 20

一句话总结

本文提出了 FedEval，一种用于联邦学习的全面评估框架，通过隐私、鲁棒性、有效性与效率的分类体系实现基准测试的标准化。它引入了 FedEval-Core，一种具有统一指标与设置的结构化评估模型，并将其应用于对七种最先进联邦学习算法的基准测试，揭示了在不同场景下的权衡关系与实际部署指南。

ABSTRACT

Federated Learning (FL) has been widely accepted as the solution for privacy-preserving machine learning without collecting raw data. While new technologies proposed in the past few years do evolve the FL area, unfortunately, the evaluation results presented in these works fall short in integrity and are hardly comparable because of the inconsistent evaluation metrics and experimental settings. In this paper, we propose a holistic evaluation framework for FL called FedEval, and present a benchmarking study on seven state-of-the-art FL algorithms. Specifically, we first introduce the core evaluation taxonomy model, called FedEval-Core, which covers four essential evaluation aspects for FL: Privacy, Robustness, Effectiveness, and Efficiency, with various well-defined metrics and experimental settings. Based on the FedEval-Core, we further develop an FL evaluation platform with standardized evaluation settings and easy-to-use interfaces. We then provide an in-depth benchmarking study between the seven well-known FL algorithms, including FedSGD, FedAvg, FedProx, FedOpt, FedSTC, SecAgg, and HEAgg. We comprehensively analyze the advantages and disadvantages of these algorithms and further identify the suitable practical scenarios for different algorithms, which is rarely done by prior work. Lastly, we excavate a set of take-away insights and future research directions, which are very helpful for researchers in the FL area.

研究动机与目标

• 为解决联邦学习中因指标与实验设置不一致而导致的缺乏标准化、全面评估的问题。
• 开发一个统一的评估分类体系，涵盖核心方面：隐私、鲁棒性、有效性与效率。
• 构建一个标准化的评估平台，实现联邦学习算法的可重现与可比较的基准测试。
• 通过深入的对比分析，提供关于不同实际场景下算法适用性的可操作洞察。
• 识别联邦学习评估中的研究空白与未来方向，特别是关于隐私攻击与平台级比较方面。

提出的方法

• 提出 FedEval-Core，一个涵盖隐私、鲁棒性、有效性与效率四个维度的评估分类体系，包含明确定义的指标与实验配置。
• 为每个维度设计标准化的评估协议，包括通信效率、模型收敛性与隐私泄露的度量指标。
• 开发一个开源评估平台，通过一致的设置与友好的用户界面实现自动化基准测试。
• 将该框架应用于评估七种最先进联邦学习算法：FedSGD、FedAvg、FedProx、FedOpt、FedSTC、SecAgg 与 HEAgg。
• 整合多样化的评估场景，包括非独立同分布（non-IID）数据、基于梯度的隐私攻击与通信成本分析。
• 结合定量指标与定性分析，对比算法的权衡关系并识别其部署适用性。

实验结果

研究问题

• RQ1 如何实现联邦学习系统的标准化评估，以确保不同算法之间评估的公平性与可比性？
• RQ2 在联邦学习算法中，隐私、效率、鲁棒性与有效性之间的关键权衡是什么？
• RQ3 在特定现实条件（如非独立同分布数据或通信约束）下，哪些联邦学习算法表现最佳？
• RQ4 不同隐私保护技术（如 SecAgg、HEAgg）在实际数据泄露与性能开销方面如何比较？
• RQ5 与孤立的单指标评估相比，全面评估能揭示哪些被忽略的洞察？

主要发现

• FedEval-Core 提供了一个标准化、全面的评估框架，实现了对多种联邦学习算法的公平且一致的基准测试。
• 通信轮次较少并不一定意味着更高的效率，因为本地计算时间可能增加，凸显了多维效率指标的必要性。
• 现有研究常忽略本地更新的计算成本，导致联邦学习文献中效率声明存在误导性。
• 来自梯度的私有数据泄露仍是关键问题，且当前使用差分隐私或同态加密的隐私评估不可比，原因在于假设与定义不一致。
• 基准测试研究揭示了各算法的显著优劣势：FedAvg 在收敛速度方面表现优异，但在非独立同分布数据上表现不佳；FedProx 与 FedOpt 对数据异构性具有更好的鲁棒性；SecAgg 与 HEAgg 在通信开销增加的代价下提供了强隐私保障。
• 该研究为每种算法识别了实际部署场景，为研究人员与实践者提供了可操作的指导。