[论文解读] An Empirical Study of Personalized Federated Learning

Koji Matsuda, Yuya Sasaki+2 more|arXiv (Cornell University)|Jun 27, 2022

Privacy-Preserving Technologies in Data被引用 5

一句话总结

本文针对多样化数据集和设置下的个性化联邦学习（PFL）方法，提出了一个全面的实证基准。它评估了17种方法，发现没有一种PFL方法在所有情况下都占绝对优势，而标准的FedAvg配合微调通常优于专门设计的PFL方法——尤其在数据异构性较高的情况下，这一现象出人意料地提升了性能。作者发布了FedBench，一个基于Jupyter的工具，用于可复现的PFL实验。

ABSTRACT

Federated learning is a distributed machine learning approach in which a single server and multiple clients collaboratively build machine learning models without sharing datasets on clients. A challenging issue of federated learning is data heterogeneity (i.e., data distributions may differ across clients). To cope with this issue, numerous federated learning methods aim at personalized federated learning and build optimized models for clients. Whereas existing studies empirically evaluated their own methods, the experimental settings (e.g., comparison methods, datasets, and client setting) in these studies differ from each other, and it is unclear which personalized federate learning method achieves the best performance and how much progress can be made by using these methods instead of standard (i.e., non-personalized) federated learning. In this paper, we benchmark the performance of existing personalized federated learning through comprehensive experiments to evaluate the characteristics of each method. Our experimental study shows that (1) there are no champion methods, (2) large data heterogeneity often leads to high accurate predictions, and (3) standard federated learning methods (e.g. FedAvg) with fine-tuning often outperform personalized federated learning methods. We open our benchmark tool FedBench for researchers to conduct experimental studies with various experimental settings.

研究动机与目标

• 为解决在多样化实验设置下，个性化联邦学习（PFL）方法缺乏标准化、全面评估的问题。
• 探究在存在数据异构性的现实场景中，PFL方法是否始终优于非个性化联邦学习（如FedAvg）。
• 识别数据异构性、客户端数量和数据量对PFL中模型性能的影响。
• 开发并发布FedBench，一个公开可用的基于Jupyter笔记本的基准测试工具，以支持可复现且可扩展的PFL实验。
• 通过分析通信、准确率和训练时间之间的性能权衡，为未来PFL方法的开发提供可操作的见解。

提出的方法

• 本研究对17种PFL方法（包括FedAvg、FedProx、FedMe、Ditto、pFedMe、HypCluster、FML、LG-FedAvg、FedPer、FedRep及其微调变体）进行了大规模实证基准测试。
• 实验在五个基准数据集上进行：MNIST、Fashion-MNIST、CIFAR-10、CIFAR-100和Tiny ImageNet，通过标签分布偏移实现受控的数据异构性。
• 评估中调整了关键超参数：客户端数量（2–10）、总样本数（10K–100K）以及数据异构程度（从IID到极端偏移）。
• 性能指标包括准确率、通信轮数和训练时间，结果对多个随机种子取平均。
• 实现并发布了基于Jupyter笔记本的基准测试工具FedBench，采用MIT许可证发布，以支持可复现且可扩展的实验。
• 在聚合后对标准FedAvg模型应用微调，以评估个性化推理下的性能提升。

实验结果

研究问题

• RQ1 在多样化数据集和设置下，哪种个性化联邦学习方法表现最佳？
• RQ2 个性化联邦学习方法是否在所有情况下都持续优于经过微调的标准联邦学习？
• RQ3 数据异构性的程度如何影响个性化联邦学习模型的性能？
• RQ4 PFL方法在模型准确率、通信效率和训练时间之间存在何种权衡？
• RQ5 客户端数量和总数据量如何影响PFL方法的有效性？

主要发现

• 在所有数据集和设置中，没有一种个性化联邦学习方法始终优于其他所有方法，表明不存在‘冠军’方法。
• 标准联邦学习配合微调（如FedAvg+FT）在大多数情况下比专门设计的PFL方法获得更高的准确率，尤其在MNIST等较简单的数据集上表现更优。
• 更高的数据异构性程度（如极端标签偏移）与个性化联邦学习中更高的模型准确率相关，这与普遍假设相反。
• FedProx+FT在CIFAR-100上实现了99.54%的测试准确率，仅用1.8轮通信，优于该设置下的大多数PFL专用方法。
• 像FedMe和HypCluster这样的方法虽达到高准确率（如CIFAR-10上98.92%），但需要显著更多的通信轮数和训练时间（如8.0–14.0轮）。
• 集中式基线方法配合微调在Tiny ImageNet上达到95.59%的准确率，表明微调的全局模型可作为强大的个性化基线。