[論文レビュー] Decentralized Federated Learning: Fundamentals, State of the Art, Frameworks, Trends, and Challenges

Enrique Tomás Martínez Beltrán, Mario Quiles Pérez+6 more|arXiv (Cornell University)|Nov 15, 2022

Privacy-Preserving Technologies in Data参考文献 206被引用数 57

ひとこと要約

論文は分散型連合学習（DFL）を概観し、基礎、分類法、フレームワーク、適用シナリオ、そして新興の動向、教訓、未解決課題を明確化します。DFLとCFLを区別し、フレームワークをユースケースに対応づけます。

ABSTRACT

In recent years, Federated Learning (FL) has gained relevance in training collaborative models without sharing sensitive data. Since its birth, Centralized FL (CFL) has been the most common approach in the literature, where a central entity creates a global model. However, a centralized approach leads to increased latency due to bottlenecks, heightened vulnerability to system failures, and trustworthiness concerns affecting the entity responsible for the global model creation. Decentralized Federated Learning (DFL) emerged to address these concerns by promoting decentralized model aggregation and minimizing reliance on centralized architectures. However, despite the work done in DFL, the literature has not (i) studied the main aspects differentiating DFL and CFL; (ii) analyzed DFL frameworks to create and evaluate new solutions; and (iii) reviewed application scenarios using DFL. Thus, this article identifies and analyzes the main fundamentals of DFL in terms of federation architectures, topologies, communication mechanisms, security approaches, and key performance indicators. Additionally, the paper at hand explores existing mechanisms to optimize critical DFL fundamentals. Then, the most relevant features of the current DFL frameworks are reviewed and compared. After that, it analyzes the most used DFL application scenarios, identifying solutions based on the fundamentals and frameworks previously defined. Finally, the evolution of existing DFL solutions is studied to provide a list of trends, lessons learned, and open challenges.

研究の動機と目的

• DFLとCFLを区別する基本要素（アーキテクチャ、トポロジー、通信、セキュリティ、KPI）を特定・定義する。
• DFLを可能にする既存のオープンソース・フレームワークをカタログ化し、比較する。
• DFLの適用シナリオ（ヘルスケア、Industry 4.0、モバイル、軍事、車両）とその要件を分析する。
• 将来の研究と実践を guider するために、動向・教訓・未解決課題を抽出する。

提案手法

• DFLの基本構成要素（連合アーキテクチャ、トポロジー、通信機構、セキュリティ/プライバシー、KPI）に関する文献をレビューし統合する。
• アーキテクチャ、トポロジー、データ分布、役割、分権化に基づいてDFLソリューションを分類する分類法とフレームワークを開発する。
• オープンソースのDFLフレームワークを調査し、ユースケース適用性と対応づける。

実験結果

リサーチクエスチョン

• RQ1 DFLの基本的な側面（アーキテクチャ、トポロジー、通信、セキュリティ、KPI）は何で、それらはソリューションでどのように組み合わされているか。
• RQ2 どのDFLフレームワークが存在し、DFLソリューションを構築するためにどの基本要素を提供しているか。
• RQ3 最も関連性の高いDFLアプリケーションシナリオの主な特徴は何か。
• RQ4 DFLにおいてどのような動向、教訓、課題が生じているか。

主な発見

• DFLの基本は連合アーキテクチャ、ネットワークトポロジー、通信機構、セキュリティ/プライバシー、KPI、および最適化手法を包含する。
• DFLアーキテクチャは連合タイプ（クロスシロ/クロスデバイス）、参加者の役割（トレーナー、アグリゲータ、プロキシ、アイドル）、および分権化スキーマ（DFL、SDFL、CFL）で分類される。
• 分類法と比較表が、データ分布、トポロジー、通信、セキュリティの側面に対する異なる研究の扱いを要約する。
• 論文は代表的な適用シナリオ（ヘルスケア、Industry 4.0、モバイルサービス、軍事、車両）を挙げ、それらに対するソリューションの対応を論じる。
• 動向、教訓、未解決課題を統合し、将来のDFL研究と実践を導く。
• 本研究はDFLに関する総合的な文献レビューと分類法として位置づけられ、CFLやより狭い側面に焦点を当てた従来の調査が残してきたギャップを埋める。