[論文レビュー] Decentralized Federated Learning: A Survey and Perspective

Liangqi Yuan, Ziran Wang+3 more|arXiv (Cornell University)|Jun 2, 2023

Privacy-Preserving Technologies in Data被引用数 10

ひとこと要約

DFL（Decentralized Federated Learning）の定義、分類、分析、その分類体系、パラダイム、トポロジー、今後の研究方向性を網羅的に概説する総合的な調査。

ABSTRACT

Federated learning (FL) has been gaining attention for its ability to share knowledge while maintaining user data, protecting privacy, increasing learning efficiency, and reducing communication overhead. Decentralized FL (DFL) is a decentralized network architecture that eliminates the need for a central server in contrast to centralized FL (CFL). DFL enables direct communication between clients, resulting in significant savings in communication resources. In this paper, a comprehensive survey and profound perspective are provided for DFL. First, a review of the methodology, challenges, and variants of CFL is conducted, laying the background of DFL. Then, a systematic and detailed perspective on DFL is introduced, including iteration order, communication protocols, network topologies, paradigm proposals, and temporal variability. Next, based on the definition of DFL, several extended variants and categorizations are proposed with state-of-the-art (SOTA) technologies. Lastly, in addition to summarizing the current challenges in the DFL, some possible solutions and future research directions are also discussed.

研究の動機と目的

• DFLと対比させるために、集中型連邦学習（CFL）の背景・課題・バリアントを説明する。
• DFLの5つの分類体系を系統的に定義する：反復順序、通信プロトコル、ネットワークトポロジー、パラダイム提案、時間的変動性。
• ネットワークトポロジーに基づく5つのDFLバリアントを導入・分類し、アプリケーションと研究を指針とする。
• DFLの2つのパラダイム（ContinualとAggregate）を提案し、それらのトレードオフと意味を分析する。
• 現在の課題を論じ、DFLの今後の研究方向を概説する。

提案手法

• CFL文献をレビューして、DFLとの比較の基準となる課題とバリアントを概説する。
• （反復順序、通信プロトコル、ネットワークトポロジー、パラダイム、時間的変動性）の5つのDFL分類体系を定義し、説明を添える。
• 最先端の文献とアプリケーションを整理するために、DFLバリアントをトポロジーに基づく5つのカテゴリに分類する。
• DFLの2つのパラダイム（ContinualとAggregate）を導入し、学習・通信・アグリゲーションの特性を比較する。
• DFLトポロジーにおける時間的変動性と外部要因への潜在的な動的適応について論じる。

Figure 1: Illustration of local learning, centralized learning, CFL, and DFL. (a) Clients are trained with local user data only. The clients neither share raw data nor communicate with each other. (b) After clients send the user data packets to the server, the server trains a general model using all

実験結果

リサーチクエスチョン

• RQ1 Decentralized Federated Learningを整理する基本的な分類体系は何ですか？
• RQ2 反復順序、通信プロトコル、ネットワークトポロジーは、DFLの収束とパフォーマンスにどう影響しますか？
• RQ3 Continual対 Aggregateのパラダイムの特徴、利点、課題は何ですか？
• RQ4 時間的変動性はDFL設計と性能にどのように影響しますか、そして潜在的な今後の方向性は何ですか？

主な発見

• DFLは中央サーバを排除し、クライアント間の直接的な通信とリソース節約の潜在性を可能にします。
• 本論文は5つのDFL分類体系を定義し、既存の研究を整理し将来の研究を導くのに有用と見なします。
• ネットワークトポロジーに基づく5つのDFLバリアントを提案し、文献とアプリケーションを分類します。
• ContinualとAggregateの2つのパラダイムを導入し、それぞれ異なる学習・通信特性とトレードオフを有します。
• 時間的変動性は、DFLトポロジーと性能を形作る動的な要因として認識されています。
• この調査は現在の課題を論じ、DFLの将来の研究方向を概説します。

Figure 2: Roadmap for this perspective paper.