[논문 리뷰] Benchmarking Algorithms for Federated Domain Generalization

Ruqi Bai, Saurabh Bagchi외 1명|arXiv (Cornell University)|2023. 07. 11.

Domain Adaptation and Few-Shot LearningComputer Science인용 수 3

한 줄 요약

이 논문은 클라이언트 이질성, 데이터셋 다양성, 통신 라운드를 제어할 수 있는 체계적인 벤치마크 방법론을 제안하여 피어드 도메인 일반화(FedDG)에 대한 평가를 가능하게 한다. 다양한 데이터셋에서 13개의 FedDG 방법을 평가한 결과, 특히 높은 클라이언트 이질성 또는 많은 클라이언트 수가 존재할 경우 성능 격차가 뚜렷하게 드러나며, 중심화된 DG 분야의 진전에도 불구하고 FedDG는 아직 해결되지 않은 문제임을 시사한다.

ABSTRACT

While prior domain generalization (DG) benchmarks consider train-test dataset heterogeneity, we evaluate Federated DG which introduces federated learning (FL) specific challenges. Additionally, we explore domain-based heterogeneity in clients' local datasets - a realistic Federated DG scenario. Prior Federated DG evaluations are limited in terms of the number or heterogeneity of clients and dataset diversity. To address this gap, we propose an Federated DG benchmark methodology that enables control of the number and heterogeneity of clients and provides metrics for dataset difficulty. We then apply our methodology to evaluate 14 Federated DG methods, which include centralized DG methods adapted to the FL context, FL methods that handle client heterogeneity, and methods designed specifically for Federated DG. Our results suggest that despite some progress, there remain significant performance gaps in Federated DG particularly when evaluating with a large number of clients, high client heterogeneity, or more realistic datasets. Please check our extendable benchmark code here: https://github.com/inouye-lab/FedDG_Benchmark.

연구 동기 및 목표

• 클라이언트 이질성과 도메인 이동을 모두 고려한 종합적인 벤치마크가 부족한 문제를 해결하기 위해.
• FedDG 환경에서 클라이언트 수, 이질성, 데이터셋 난이도를 제어할 수 있는 체계적인 벤치마크 방법론을 개발하기 위해.
• 대규모 이질적 클라이언트와 다양한 데이터셋을 포함한 현실적인 조건에서 13개의 대표적 FedDG 방법을 평가하기 위해.
• 클라이언트 수 증가에 따른 성능 저하와 비단조화적인 통신 영향 등 FedDG 성능의 핵심 과제를 규명하기 위해.
• 향후 FedDG 평가 및 방법 설계의 개선을 위해 강력한 내재적 정규화와 수렴성을 확보하기 위한 권고 사항을 제공하기 위해.

제안 방법

• 도메인 및 이질성 수준에 따라 데이터셋을 클라이언트 간에 제어적으로 분할할 수 있는 새로운 FedDG 벤치마크 방법론을 제안한다.
• 다양한 데이터 분포 간 체계적인 비교를 가능하게 하기 위해 데이터셋 난이도를 정량화하는 지표를 도입한다.
• 세 가지 범주에서 기존 13개의 방법을 적응 적용한다: 중심화된 DG 방법을 FL에 적응한 것, 클라이언트 이질성에 대응하기 위한 FL 방법, FedDG에 특별히 설계된 방법.
• 학습 빈도가 DG 성능에 미치는 영향을 분석하기 위해 통신 라운드 제어 메커니즘을 구현한다.
• 실제 세계 데이터셋인 PACS, IWildCam, Py150, CivilComments를 사용하여 현실적인 도메인 및 클라이언트 이질성 조건에서 평가를 수행한다.
• 조기 정지 및 통신 스케줄링을 적용하여 FedDG에서의 암묵적 정규화 효과를 분석한다.

실험 결과

연구 질문

• RQ1 클라이언트 수가 증가함에 따라 이질적 클라이언트에서 FedDG 방법의 성능은 어떻게 변화하는가? 특히 C ≥ 10일 경우 어떻게 되는가?
• RQ2 피어드 환경에서 통신 빈도는 DG 성능에 어떤 영향을 미치며, 이는 내분포 FL 경향을 따르는가?
• RQ3 클라이언트 이질성(λ를 통해 제어)은 FedDG에서 수렴성과 정확도에 어떤 영향을 미치는가? 특히 실제 세계 데이터셋에서 어떻게 되는가?
• RQ4 FEMNIST, PACS, IWildCam, Py150와 같은 다양한 벤치마크 데이터셋 간 난이도와 클라이언트 이질성은 어떻게 비교되는가?
• RQ5 기존의 베이스라인, 예를 들어 FedAvg와 분산 감소 기반 방법은 FedDG에서 어느 정도 성능을 내며, 강력한 베이스라인으로서 기능할 수 있는가?

주요 결과

• 많은 FedDG 방법들이 클라이언트 수가 10명을 초과할 경우 심각하게 성능 저하를 보이지만, 원래 논문에서 C=3일 경우 잘 작동하는 것으로 나타나, 중요한 확장성 격차가 존재함을 시사한다.
• 더 많은 통신 라운드가 성능을 단조롭게 향상시키지 않으며, 오히려 조기 정지가 더 높은 DG 정확도를 제공함으로써 제한된 통신으로 인한 암묵적 정규화가 작용함을 시사한다.
• FedAvg와 분산 감소 기반 FL 방법이 많은 전용 FedDG 방법보다 뛰어난 성능을 보이며, 특히 높은 클라이언트 이질성 조건에서 강력한 베이스라인 성능을 보임을 시사한다.
• 실제 세계 데이터셋인 IWildCam와 Py150는 PACS나 FEMNIST보다 수렴 속도가 느리고 난이도가 더 높으며, 특히 클라이언트 이질성이 높을 경우(낮은 λ) 두드러진다.
• 클라이언트가 오직 한 도메인의 데이터만 가진 경우(λ=0), 즉 도메인 분리 케이스는 여전히 주요 과제로 남아 있으며, 중심화된 DG 방법은 실패하고 현재의 FedDG 방법들도 여전히 성능이 열등하다.
• 더 나은 수렴 속도와 클라이언트 수 및 통신 빈도가 FedDG 성능에 미치는 영향에 대한 더 깊은 이론적 이해가 절실하게 필요하다.