[論文レビュー] A Survey on Heterogeneous Federated Learning

Dashan Gao, Xin Yao+1 more|arXiv (Cornell University)|Oct 10, 2022

Privacy-Preserving Technologies in Data被引用数 26

ひとこと要約

このサーベイは、データ空間、統計的、システム異種性を網羅的にレビューし、分類法、転移学習戦略、将来の方向性を提示します。

ABSTRACT

Federated learning (FL) has been proposed to protect data privacy and virtually assemble the isolated data silos by cooperatively training models among organizations without breaching privacy and security. However, FL faces heterogeneity from various aspects, including data space, statistical, and system heterogeneity. For example, collaborative organizations without conflict of interest often come from different areas and have heterogeneous data from different feature spaces. Participants may also want to train heterogeneous personalized local models due to non-IID and imbalanced data distribution and various resource-constrained devices. Therefore, heterogeneous FL is proposed to address the problem of heterogeneity in FL. In this survey, we comprehensively investigate the domain of heterogeneous FL in terms of data space, statistical, system, and model heterogeneity. We first give an overview of FL, including its definition and categorization. Then, We propose a precise taxonomy of heterogeneous FL settings for each type of heterogeneity according to the problem setting and learning objective. We also investigate the transfer learning methodologies to tackle the heterogeneity in FL. We further present the applications of heterogeneous FL. Finally, we highlight the challenges and opportunities and envision promising future research directions toward new framework design and trustworthy approaches.

研究の動機と目的

• フェデレーテッド学習（FL）における異種性の問題を動機づけて定義し、プライバシー、セキュリティ、効率性への影響を説明する。
• データ空間、統計、システム異種性にわたる異種FL設定の分類を提供する。
• FLの異種性に対処する転移学習戦略を特定する（データベースベースの、アーキテクチャベースの、モデルベースの）。
• 産業横断での異種FLの応用を概説し、課題と将来の研究方向を示す。
• 異種FLシステムの信頼性の高いフレームワーク設計の考慮事項を強調する。

提案手法

• データ空間、統計、システム異種性にまたがる異種FLに関する既存文献をレビューし、統合する。
• 問題設定と学習目的に基づく異種FL設定の厳密な分類を提案する。
• データベースベースの、アーキテクチャベースの、モデルベースの観点からFLの異種性に対処する転移学習手法を分析する。
• FLにおけるセキュリティとプライバシーの脅威を論じ、保存技術（MPC、HE、DP、TEE）を要約する。
• 異種FLの実用的な応用を調査し、将来の課題と機会を概説する。

実験結果

リサーチクエスチョン

• RQ1 フェデレーテッド学習における異種性にはどのような種類があり、それらをどのように分類できるか？
• RQ2 FLにおけるデータ空間の異種性に対処するために転移学習手法をどのように適用できるか？
• RQ3 プライバシーを保ちつつ、FLにおける統計的およびシステム異種性を緩和する効果的な戦略は何か？
• RQ4 産業横断での異種FLの現在の応用、課題、将来の方向性は何か？

主な発見

• FLの異種性は多面的であり、データ空間、統計、システム異種性を含み、それぞれ異なる扱いを必要とする。
• データ空間異種性の分類にはVertical FLと heterogeneous federated transfer learning (Hetero-FTL) が含まれる。
• Five transfer learning approaches (data-based, architecture-based, model-based, and related methods) can address heterogeneity in FL.
• データ空間異種性、特に Hetero-FTL、 remains under-explored and is identified as a promising research direction.
• 本調査は異種FLをセキュリティ、プライバシーの脅威、保存技術と関連づけ、産業応用と将来の研究方向を強調している。