[論文レビュー] Federated Domain Generalization: A Survey

Ying Li, Xingwei Wang+5 more|arXiv (Cornell University)|Jun 2, 2023

Domain Adaptation and Few-Shot Learning被引用数 26

ひとこと要約

これは連邦学習ドメイン一般化（FDG）に関する最初の包括的なサーベイであり、理論、方法論、データセット、応用、評価、ベンチマーク、将来の方向性を概説する。

ABSTRACT

Machine learning typically relies on the assumption that training and testing distributions are identical and that data is centrally stored for training and testing. However, in real-world scenarios, distributions may differ significantly and data is often distributed across different devices, organizations, or edge nodes. Consequently, it is imperative to develop models that can effectively generalize to unseen distributions where data is distributed across different domains. In response to this challenge, there has been a surge of interest in federated domain generalization (FDG) in recent years. FDG combines the strengths of federated learning (FL) and domain generalization (DG) techniques to enable multiple source domains to collaboratively learn a model capable of directly generalizing to unseen domains while preserving data privacy. However, generalizing the federated model under domain shifts is a technically challenging problem that has received scant attention in the research area so far. This paper presents the first survey of recent advances in this area. Initially, we discuss the development process from traditional machine learning to domain adaptation and domain generalization, leading to FDG as well as provide the corresponding formal definition. Then, we categorize recent methodologies into four classes: federated domain alignment, data manipulation, learning strategies, and aggregation optimization, and present suitable algorithms in detail for each category. Next, we introduce commonly used datasets, applications, evaluations, and benchmarks. Finally, we conclude this survey by providing some potential research topics for the future.

研究の動機と目的

• 伝統的な機械学習からドメイン適応およびドメイン一般化への発展経路を紹介し、FDGとその形式定義へとつなぐ。
• FDG の手法を四つのクラスに分類する: federated domain alignment, data manipulation, learning strategies, and aggregation optimization, 各カテゴリの詳細なアルゴリズムとともに。
• FDG における一般に用いられるデータセット、応用、評価、およびベンチマークを提示する。
• FDG の研究を前進させる将来の研究方向と潜在的なトピックについて議論する。

提案手法

• FDG 手法を四つのクラスに分類する: federated domain alignment, data manipulation, learning strategies, and aggregation optimization.
• 各カテゴリに対する適切なアルゴリズムの詳細な提示。
• FDG の概念と関連境界の形式的定義と理論的議論。
• 未来の研究と応用を導くためのFDGの統一アーキテクチャ/ワークフローの描写。
• FDG 研究を標準化するためのデータセット、応用、評価、ベンチマークに関する議論。

実験結果

リサーチクエスチョン

• RQ1 FDG設定において、Federated Domain Generalization はどのように定義・形式化されるか？
• RQ2 FDGの主な方法論的カテゴリは何で、それを例示するアルゴリズムは何か？
• RQ3 FDG に存在するデータセット、応用、評価、ベンチマークは何か、そしてそれらは今後の研究をどのように導くか？
• RQ4 FDG を前進させるために推奨される将来の研究方向は何か？

主な発見

• FDG は、連邦学習とドメイン一般化の統合として位置づけられ、データプライバシーを保ちながら unseen domains への一般化を可能にする。
• FDG 手法は four classes に分類される: federated domain alignment, data manipulation, learning strategies, and aggregation optimization.
• 本サーベイはFDGに関連するデータセット、応用、評価、ベンチマークの体系的な編纂を提供する。
• 著者はFDG分野を前進させるための将来の研究トピックと方向性を議論し、未解決の課題と機会を強調している。