[論文レビュー] Heterogeneous Federated Learning: State-of-the-art and Research Challenges

Mang Ye, Xiuwen Fang+3 more|arXiv (Cornell University)|Jul 20, 2023

Privacy-Preserving Technologies in Data被引用数 18

ひとこと要約

本論文は異種フェデレーテッド学習（HFL）の系統的な調査を提供し、新しい分類法を提案し、データレベル・モデルレベル・サーバーレベルのアプローチにわたる最先端手法を分析し、主要な課題と今後の方向性を概説する。

ABSTRACT

Federated learning (FL) has drawn increasing attention owing to its potential use in large-scale industrial applications. Existing federated learning works mainly focus on model homogeneous settings. However, practical federated learning typically faces the heterogeneity of data distributions, model architectures, network environments, and hardware devices among participant clients. Heterogeneous Federated Learning (HFL) is much more challenging, and corresponding solutions are diverse and complex. Therefore, a systematic survey on this topic about the research challenges and state-of-the-art is essential. In this survey, we firstly summarize the various research challenges in HFL from five aspects: statistical heterogeneity, model heterogeneity, communication heterogeneity, device heterogeneity, and additional challenges. In addition, recent advances in HFL are reviewed and a new taxonomy of existing HFL methods is proposed with an in-depth analysis of their pros and cons. We classify existing methods from three different levels according to the HFL procedure: data-level, model-level, and server-level. Finally, several critical and promising future research directions in HFL are discussed, which may facilitate further developments in this field. A periodically updated collection on HFL is available at https://github.com/marswhu/HFL_Survey.

研究の動機と目的

• データ、モデル、通信、デバイスの次元にわたる異種フェデレーテッド学習の主な研究課題を特定・分類する。
• データレベル、モデルレベル、サーバーレベルでHFL手法を整理する新しい分類法を提案する。
• 最近の最先端HFL手法をレビューし、異種設定における長所と限界を分析する。
• プライバシー、効率性、頑健性の配慮を議論し、今後の研究方向を概説する。

提案手法

• 統計的ヘテロogeneity、モデルヘテロogeneity、通信ヘテロogeneity、デバイスヘテロogeneity、そして追加の課題という五つの側面フレームワークを導入する。
• 既存のHFLアプローチをデータレベル、モデルレベル、サーバーレベルの方法に分類する新しい分類法を提示する。
• 提案された分類における代表的なHFL技術の長所と短所を分析する。
• 先行調査と比較して独自の貢献とギャップを際立たせる。
• HFLの研究課題と未解決問題のための研究優先事項を示す。

実験結果

リサーチクエスチョン

• RQ1 連邦学習におけるコアなヘテロogeneity次元は何であり、それらは学習性能にどのように影響するか。
• RQ2 既存のHFL手法を一貫した分類法に整理するにはどうすればよく、データレベル・モデルレベル・サーバーレベルのアプローチ間のトレードオフは何か。
• RQ3 ヘテロogeneityの下でのプライバシー、効率性、頑健性の主な課題は何であり、それらはどのように対処できるか。
• RQ4 将来のHFL研究とベンチマークにとって最も有望な方向性は何か。

主な発見

• HFLは5つの主要なヘテロogeneity課題に直面している: 統計、モデル、通信、デバイス、知識移転とプライバシー漏洩のような追加の問題。
• 新しい分類法はHFL手法をデータレベル、モデルレベル、サーバーレベルのアプローチに分け、それらの長所と限界の理解を助ける。
• 現存のベンチマーク、データセット、およびHFLの標準化指標が不足しており、系統的評価の必要性を強調している。
• 将来の方向性として、資源消費の削減、効率性の向上、公平性、異種設定向けのより厳格なプライバシー制約が挙げられる。
• 先行調査と比較して、本研究はより細かな包括的な分類法を提供し、一般的なFLの課題よりもヘテロogeneityに特化している。
• 本論文はHFLの進展を追跗するオンラインリソースを定期的に更新する。