[論文レビュー] Efficient and Less Centralized Federated Learning

Li Der Chou, Zichang Liu+2 more|arXiv (Cornell University)|Jun 11, 2021

Privacy-Preserving Technologies in Data参考文献 27被引用数 4

ひとこと要約

本稿では、局所的なデバイスネットワーク内でのピアツーピア（P2P）モデル集約を可能にすることで、通信ボトルネックを軽減する分散型フェデレーテッドラーニングフレームワーク、FedP2Pを提案する。中央サーバーの役割は最小限に抑えられる。ネットワークトポロジーを活用して局所的な通信を効率化することで、同じ学習条件下で中央集権的FedAvgと比較して通信効率が10倍向上し、最大8%高い精度を達成する。

ABSTRACT

With the rapid growth in mobile computing, massive amounts of data and computing resources are now located at the edge. To this end, Federated learning (FL) is becoming a widely adopted distributed machine learning (ML) paradigm, which aims to harness this expanding skewed data locally in order to develop rich and informative models. In centralized FL, a collection of devices collaboratively solve a ML task under the coordination of a central server. However, existing FL frameworks make an over-simplistic assumption about network connectivity and ignore the communication bandwidth of the different links in the network. In this paper, we present and study a novel FL algorithm, in which devices mostly collaborate with other devices in a pairwise manner. Our nonparametric approach is able to exploit network topology to reduce communication bottlenecks. We evaluate our approach on various FL benchmarks and demonstrate that our method achieves 10X better communication efficiency and around 8% increase in accuracy compared to the centralized approach.

研究の動機と目的

• 中央サーバーに過度に依存することで生じる通信非効率性を是正すること。
• デバイス間の局所的P2Pモデル集約を可能にすることで、中央サーバーの通信負荷を低減すること。
• 帯域幅の変動や頻繁な切断が生じる不均一で動的なエッジネットワークにおけるスケーラビリティと耐障害性を向上させること。
• ネットワークトポロジーを活用して通信ホップ数と遅延を最小限に抑えること。
• 分散型P2P通信が、従来のクライアント・サーバー型FLを上回る効率性と精度を実現できることを実証すること。

提案手法

• 距離や低遅延リンクなど、好都合なネットワークトポロジーに基づいて、デバイスがランダムに局所的P2Pネットワークに分割される。
• 各P2Pネットワーク内では、Allreduceを用いてデバイス同士がペアワイズでモデル集約を行い、局所的なモデル更新を同期する。
• 中央サーバーは、各P2Pネットワークの代表デバイス1名とのみ通信するため、通信負荷が著しく低減される。
• グローバルモデルは、個々のデバイスからのパラメータではなく、各P2Pネットワークからの集約パラメータを統合することで更新される。
• データ分布の事前知識が不要なランダムな分割戦略を採用することで、トポロジーに配慮したグループ化が可能となる。
• 通信効率は、アップロード/ダウンロード帯域幅比（α）、サーバーからデバイスへの帯域幅比（γ）、およびサンプリングされたデバイス数（P）などのパラメータを用いてモデル化される。

実験結果

リサーチクエスチョン

• RQ1 局所的なデバイスグループ内でのピアツーピア通信が、フェデレーテッドラーニングにおける中央サーバーの通信負荷を軽減できるか？
• RQ2 デバイスのグループ化にネットワークトポロジーを活用することで、通信効率とモデル収束にどのような影響を与えるか？
• RQ3 リアルなネットワーク環境下で、FedP2PはFedAvgに比べて通信効率とモデル精度の両面で優れているか？
• RQ4 通信不能や停止する遅延デバイス（ストラグル）が発生した場合、FedP2Pはどれほど耐性があるか？
• RQ5 P2Pネットワーク数（L）と1ネットワークあたりのデバイス数（Q）を変化させた場合、モデル性能にどのような影響があるか？

主な発見

• 同じ数のデバイスで学習した場合、FedP2PはFedAvgと比較して通信時間を10倍速く達成する。
• 同じ通信ラウンド数で学習した場合、ベンチマークデータセット上でFedP2PはFedAvgよりも約8%高いテスト精度を達成する。
• 選択されたデバイスの50%がストラグルとして切断されても、FedP2Pは高い精度と滑らかな収束を維持するが、FedAvgの性能は著しく低下する。
• P2Pネットワーク数（L）や1ネットワークあたりのデバイス数（Q）の変動に対しても、FedP2Pは最終的なモデル精度にほとんど影響を受けない。
• サンプリングされたデバイス数が500を超える場合や、デバイス帯域幅が比較的高い場合（γ ≤ 100）、FedP2PはFedAvgを上回る通信効率を示す。
• 通信効率の向上は、高帯域幅のデバイスと1ラウンドあたり数千人の参加者が想定される現実的な大規模FL設定下で特に顕著に現れる。