[论文解读] Benchmarking Algorithms for Federated Domain Generalization

Ruqi Bai, Saurabh Bagchi+1 more|arXiv (Cornell University)|Jul 11, 2023

Domain Adaptation and Few-Shot LearningComputer Science被引用 3

一句话总结

本文提出了首个针对联邦域泛化（FedDG）的系统性基准方法，实现了对客户端异构性、数据集多样性及通信轮次的可控评估。在多个数据集上评估了13种FedDG方法，揭示了显著的性能差距——尤其在高客户端异构性或大量客户端情况下——表明尽管集中式域泛化（DG）取得进展，FedDG仍处于未解决状态。

ABSTRACT

While prior domain generalization (DG) benchmarks consider train-test dataset heterogeneity, we evaluate Federated DG which introduces federated learning (FL) specific challenges. Additionally, we explore domain-based heterogeneity in clients' local datasets - a realistic Federated DG scenario. Prior Federated DG evaluations are limited in terms of the number or heterogeneity of clients and dataset diversity. To address this gap, we propose an Federated DG benchmark methodology that enables control of the number and heterogeneity of clients and provides metrics for dataset difficulty. We then apply our methodology to evaluate 14 Federated DG methods, which include centralized DG methods adapted to the FL context, FL methods that handle client heterogeneity, and methods designed specifically for Federated DG. Our results suggest that despite some progress, there remain significant performance gaps in Federated DG particularly when evaluating with a large number of clients, high client heterogeneity, or more realistic datasets. Please check our extendable benchmark code here: https://github.com/inouye-lab/FedDG_Benchmark.

研究动机与目标

• 解决联邦域泛化（FedDG）领域缺乏全面基准的问题，该问题需同时考虑客户端异构性和域偏移。
• 提出一种系统性基准方法，以在FedDG设置中可控地调节客户端数量、异构性水平及数据集难度。
• 在真实条件下评估13种代表性FedDG方法，包括大量异构客户端和多样化数据集。
• 识别FedDG性能中的关键挑战，如客户端数量增加导致的性能下降以及通信频率的非单调影响。
• 为未来FedDG的评估与方法设计提供建议，以提升鲁棒性与收敛性。

提出的方法

• 提出一种新颖的FedDG基准方法，可基于域和异构性水平对数据集进行可控划分并分发至客户端。
• 引入一种度量方法以量化数据集难度，从而实现在不同数据分布间进行系统性比较。
• 将13种现有方法从三类中适配：已适配至联邦学习（FL）的集中式DG方法、针对客户端异构性的FL方法，以及专为FedDG设计的方法。
• 实现一种通信轮次控制机制，以研究训练频率对DG性能的影响。
• 使用真实世界数据集（包括PACS、IWildCam、Py150和CivilComments）进行评估，以反映真实场景下的域异构性和客户端异构性。
• 应用早停策略与通信调度机制，以分析FedDG中的隐式正则化效应。

实验结果

研究问题

• RQ1 当客户端数量增加时，FedDG方法的性能如何表现，特别是在C ≥ 10的情况下？
• RQ2 通信频率对联邦设置中DG性能的影响是什么？其趋势是否与分布内FL一致？
• RQ3 通过λ控制的客户端异构性如何影响FedDG中的收敛性与准确率，尤其是在真实世界数据集上？
• RQ4 不同基准数据集（如FEMNIST、PACS、IWildCam、Py150）在难度与客户端异构性方面有何差异？
• RQ5 现有基线方法（如FedAvg和方差缩减方法）在FedDG中的表现如何？它们能否作为强基线？

主要发现

• 许多FedDG方法在客户端数量超过10后性能显著下降，尽管在原始论文中C=3时表现良好，表明存在严重的可扩展性差距。
• 性能并未随着通信轮次增加而单调提升；相反，早停策略通常能获得更高的DG准确率，表明有限通信可能带来隐式正则化效应。
• FedAvg和基于方差缩减的FL方法在高客户端异构性下优于许多专用FedDG方法，表明其基线性能极强。
• 真实世界数据集（如IWildCam和Py150）在客户端异构性较高（λ较低）时表现出比PACS或FEMNIST更慢的收敛速度和更高的难度。
• 当λ=0（即客户端仅拥有单一域数据）的域分离情形仍是重大挑战，集中式DG方法失效，现有FedDG方法仍表现不佳。
• 亟需提升收敛速度，并深化对客户端数量与通信频率如何影响FedDG性能的理论理解。