[論文レビュー] Benchmarking Algorithms for Federated Domain Generalization

Ruqi Bai, Saurabh Bagchi+1 more|arXiv (Cornell University)|Jul 11, 2023

Domain Adaptation and Few-Shot LearningComputer Science被引用数 3

ひとこと要約

本稿は、クライントの非同一性、データセットの多様性、通信ラウンドを制御可能な形で評価できる、Federated Domain Generalization (FedDG) のための最初の体系的ベンチマーク手法を導入する。複数のデータセットを用いて13種類のFedDG手法を評価した結果、特にクライントの非同一性が高いか、クライント数が多い状況では顕著な性能差が生じることが明らかになった。これは、中心化型DGにおける進展にもかかわらず、FedDGは依然として未解決の課題を抱えていることを示している。

ABSTRACT

While prior domain generalization (DG) benchmarks consider train-test dataset heterogeneity, we evaluate Federated DG which introduces federated learning (FL) specific challenges. Additionally, we explore domain-based heterogeneity in clients' local datasets - a realistic Federated DG scenario. Prior Federated DG evaluations are limited in terms of the number or heterogeneity of clients and dataset diversity. To address this gap, we propose an Federated DG benchmark methodology that enables control of the number and heterogeneity of clients and provides metrics for dataset difficulty. We then apply our methodology to evaluate 14 Federated DG methods, which include centralized DG methods adapted to the FL context, FL methods that handle client heterogeneity, and methods designed specifically for Federated DG. Our results suggest that despite some progress, there remain significant performance gaps in Federated DG particularly when evaluating with a large number of clients, high client heterogeneity, or more realistic datasets. Please check our extendable benchmark code here: https://github.com/inouye-lab/FedDG_Benchmark.

研究の動機と目的

• クライント非同一性とドメインシフトの両方を考慮した包括的なベンチマークの不足に応えること。
• クライント数、非同一性、データセットの難易度を制御可能なFedDG設定における体系的ベンチマーク手法を開発すること。
• 大規模な非同一クライント数と多様なデータセットを想定した現実的な条件下で、13の代表的なFedDG手法を評価すること。
• クライント数の増加に伴う性能低下や通信頻度の非単調な影響といった、FedDG性能における主な課題を同定すること。
• 将来の評価と手法設計における改善を図るための提言を提供すること。

提案手法

• ドメインと非同一性レベルに基づいて、データセットをクライント間で制御的に分割できる、新しいFedDGベンチマーク手法を提案する。
• データセットの難易度を定量化する指標を導入し、異なるデータ分布間での体系的比較を可能にする。
• 3つのカテゴリーに分類された13の既存手法を適応：中心化型DG手法をFLに適応した手法、クライント非同一性に特化したFL手法、FedDGに特化して設計された手法。
• 通信ラウンドの制御メカニズムを実装し、トレーニング頻度がDG性能に与える影響を分析する。
• PACS、IWildCam、Py150、CivilCommentsといった実世界のデータセットを用いて、現実的なドメインおよびクライント非同一性下での評価を実施。
• 早期停止と通信スケジューリングを適用し、FedDGにおける暗黙的正則化効果を分析する。

実験結果

リサーチクエスチョン

• RQ1 クライント非同一性が高まる状況下で、特にC ≥ 10の場合、FedDG手法の性能はどのように変化するか？
• RQ2 通信頻度がフェデレーテッド環境におけるDG性能に与える影響は何か？また、分布内FLの傾向に従うのか？
• RQ3 λを用いて制御されたクライント非同一性が、FedDGにおける収束性と精度に与える影響は何か？特に実世界のデータセットにおいて。
• RQ4 FEMNIST、PACS、IWildCam、Py150といった異なるベンチマークデータセットは、難易度とクライント非同一性の観点でどのように比較できるか？
• RQ5 FedAvg や分散低減手法に基づくベースライン手法は、FedDGにおいてどの程度の性能を示すのか？また、強力なベースラインとして機能できるか？

主な発見

• 多くのFedDG手法は、クライント数が10を超えると顕著に性能が低下するが、元の論文ではC=3の状況で良好な性能を示していたため、スケーラビリティの大きなギャップが明らかになった。
• 通信ラウンドの増加に伴い性能が単調に向上するわけではない。むしろ、早期停止がしばしばより高いDG精度をもたらすため、制限された通信による暗黙的正則化の可能性が示唆された。
• FedAvg や分散低減に基づくFL手法は、多くの専用FedDG手法を上回る性能を示し、特にクライント非同一性が高い状況で顕著であった。これは強力なベースライン性能を示している。
• IWildCam や Py150 といった現実的データセットは、PACS や FEMNIST よりも収束が遅く、難易度が高くなる傾向がある。特にλが低い（非同一性が高い）状況で顕著だった。
• ドメイン分離ケース（λ=0）では、クライントが1つのドメインからのみデータを持つ状況が依然として大きな課題であり、中心化型DG手法は失敗し、現在のFedDG手法でも性能が不十分である。
• 収束速度の向上と、クライント数および通信頻度がFedDG性能に与える影響に関するより良い理論的理解の必要性が強く示された。