[論文レビュー] Topology-aware Federated Learning in Edge Computing: A Comprehensive Survey

Jiajun Wu, Steve Drew+3 more|arXiv (Cornell University)|Feb 6, 2023

Privacy-Preserving Technologies in Data参考文献 158被引用数 7

ひとこと要約

本調査は、異種で動的なエッジコンピューティングネットワークを想定した、トポロジーに配慮したフェデレーテッドラーニング（FL）フレームワークを提案し、スター型、ツリー型、分散型、ハイブリッド型トポロジーを活用することで、通信効率、プライバシー、障害耐性を最適化する。実際のエッジ展開において、トポロジーに配慮した設計が収束速度を著しく向上させ、通信オーバーヘッドを低減し、モデルの公平性とレジリエンスを向上させることを示している。

ABSTRACT

The ultra-low latency requirements of 5G/6G applications and privacy constraints call for distributed machine learning systems to be deployed at the edge. With its simple yet effective approach, federated learning (FL) is a natural solution for massive user-owned devices in edge computing with distributed and private training data. FL methods based on FedAvg typically follow a naive star topology, ignoring the heterogeneity and hierarchy of the volatile edge computing architectures and topologies in reality. Several other network topologies exist and can address the limitations and bottlenecks of the star topology. This motivates us to survey network topology-related FL solutions. In this paper, we conduct a comprehensive survey of the existing FL works focusing on network topologies. After a brief overview of FL and edge computing networks, we discuss various edge network topologies as well as their advantages and disadvantages. Lastly, we discuss the remaining challenges and future works for applying FL to topology-specific edge networks.

研究の動機と目的

• 実際のエッジネットワークにおけるヴァナイルFedAvgの限界を解決すること。特に、ネットワークの非均一性や動的なトポロジーを無視している点に焦点を当てる。
• スター型、ツリー型、分散型（ゴッサィップ/メッシュ）、ハイブリッド型などの異なるネットワークトポロジーが、エッジベースのFLにおける通信効率、モデル収束、システムのレジリエンスに与える影響を調査すること。
• エッジFLにおける主な課題、すなわちデバイスの非均一性、不安定なリンク、プライバシー漏洩、ノイジーなデバイスによる不平等なモデル更新を特定し、それらに対処すること。
• 分散型および階層的エッジFLアーキテクチャにおけるエネルギー効率、モデルの公平性、可用性を向上させるためのトポロジーに配慮したソリューションを提案すること。
• それらのフレームワークやアルゴリズムの背後にあるネットワークトポロジーに基づいて、既存のFLフレームワークの包括的な分類と分析を提供すること。

提案手法

• エッジネットワークのトポロジーをスター型、ツリー型、分散型（ゴッサィップ/メッシュ）、リング型、クリーク型、グリッド型、ハイブリッド型に分類し、構造的・性能的トレードオフを分析する。
• デバイスの利用可能性、帯域幅、エネルギー制約に基づいて通信パターンを動的に適応させるトポロジー制御メカニズムを導入し、通信コストを低減するとともに信頼性を向上させる。
• クロスクラスタのモデル更新を組み込むことで、ノイジーまたは支配的であるエッジデバイスによるバイアスを軽減する、機会的ルーティングおよびモデル集約戦略を提案する。
• 変化する隣接デバイス集合を介したモデルミクスチャーを活用することで、微分プライバシー攻撃に対する脆弱性を低減する、プライバシー保護技術を統合する。
• 物理的クラスタ上に可用性に配慮したオーバーレイネットワークを設計し、レプリケーションと冗長性によって障害耐性と負荷分散を実現する。
• 実際のエッジ環境下で、収束速度、通信ラウンド数、エネルギー消費、モデル公平性といった指標を用いて、トポロジー固有のFLパフォーマンスを評価する。

Figure 1 . An example showing the statistical heterogeneity among different types of clients in FL. Depending on how the clients generate data, the statistical distributions and patterns of data on each device can be very different.

実験結果

リサーチクエスチョン

• RQ1 異なるネットワークトポロジー（例：スター型、ツリー型、メッシュ型）は、エッジネットワーク上でのフェデレーテッドラーニングにおける通信効率と収束にどのように影響を与えるか？
• RQ2 デバイスの非均一性、不安定なリンク、断続的接続の影響を軽減するためのトポロジー制御戦略は何か？
• RQ3 トポロジーに配慮した設計は、クラスタベースのFLアーキテクチャにおいて、支配的またはノイジーなエッジデバイスによるバイアスをどのように是正し、モデルの公平性を向上させ得るか？
• RQ4 動的トポロジー適応は、モデルの露出を低減し、微分プライバシーのリスクを軽減することで、フェデレーテッドラーニングにおけるプライバシー保護をどのように強化するか？
• RQ5 オーバーレイトポロジーとレプリケーション技術は、エッジサーバーでのモデル集約において、高い可用性と障害耐性を確保するために果たす役割は何か？

主な発見

• トポロジーに配慮したFL設計は、特に高遅延または帯域制限のあるエッジ環境において、標準的なFedAvgと比較して通信ラウンド数を削減し、収束速度を向上させる。
• ハイブリッド型および分散型トポロジー（例：メッシュ型、ゴッサィップベース）は、動的で不安定なネットワークにおいて、スターアーキテクチャを上回る故障耐性と負荷分散能力を有する。
• クロスクラスタのモデル更新を組み込む機会的ルーティングは、支配的またはノイジーなデバイスを有するクラスタにおいて、局所モデルの公平性を著しく向上させる。
• 動的隣接デバイス選択を介したモデルミクスチャーにより、トポロジーに配慮したネットワークでは、モデル露出パターンの多様性が向上し、微分プライバシー攻撃のリスクが低減する。
• オーバーレイネットワークトポロジーは、個々のクラスターヘッドが停止した場合でも、エッジサーバー間でのレプリケーションとフェイルオーバーを可能にすることで、モデル集約タスクの高可用性を実現する。
• エネルギーに配慮したトポロジー制御により、冗長な送信を最小限に抑え、データルーティング経路を最適化することで、エッジデバイスの電力消費が削減される。

Figure 2 . A demonstration of system heterogeneity. Three different tiers of edge devices have distinct capabilities of computing, connected by links with different bandwidths.