[論文レビュー] Decentralized Federated Learning: A Segmented Gossip Approach

Chenghao Hu, Jingyan Jiang+1 more|arXiv (Cornell University)|Aug 21, 2019

Privacy-Preserving Technologies in Data参考文献 14被引用数 135

ひとこと要約

モデルをセグメントに分割し、複数のピアを用いた集約を行うセグメント化されたゴシップ型の分散フェデレーテッドラーニングフレームワーク（Combo）を提案し、帯域幅をより有効活用してトレーニングを高速化し、競争力のある精度を達成する。

ABSTRACT

The emerging concern about data privacy and security has motivated the proposal of federated learning, which allows nodes to only synchronize the locally-trained models instead their own original data. Conventional federated learning architecture, inherited from the parameter server design, relies on highly centralized topologies and the assumption of large nodes-to-server bandwidths. However, in real-world federated learning scenarios the network capacities between nodes are highly uniformly distributed and smaller than that in a datacenter. It is of great challenges for conventional federated learning approaches to efficiently utilize network capacities between nodes. In this paper, we propose a model segment level decentralized federated learning to tackle this problem. In particular, we propose a segmented gossip approach, which not only makes full utilization of node-to-node bandwidth, but also has good training convergence. The experimental results show that even the training time can be highly reduced as compared to centralized federated learning.

研究の動機と目的

• 中央サーバを用いずに分散学習でデータのプライバシーを確保する。
• フェデレーテッド設定においてノード間帯域を最大限活用してネットワーク効率を向上させる。
• セグメント化ゴシップとモデルレプリカを通じて収束と訓練速度を保証する。
• 実世界に近いWAN様ネットワークでのセグメント化ゴシップ集約のためのプロトタイプシステム（Combo）を設計・評価する。

提案手法

• グローバルモデルを重複しないセグメントに分割し、セグメント単位で集約を行う。
• 各ワーカーがイテレーションごとに異なるピアから複数のモデルセグメントを引き出す（セグメント化プル）ゴシップ型プロトコルを使用する。
• 情報伝搬と収束を改善するためにモデルレプリカを導入する（R個の混合モデルをプルして集約する）。
• レイヤごとにセグメント単位の加重平均でセグメントを集約する。重みは局所データセットサイズに基づく（P_l and |D_j|）。
• 動的なワーカ参加（参加/退出）と同期の明示的な処理を備えたプロトタイプ（Combo）を実装する。）

実験結果

リサーチクエスチョン

• RQ1 モデルがセグメント化され、複数のピアから集約される場合、モデル更新を効果的に同期できるか？
• RQ2 帯域制約のある地理分散型フェデレーテッド設定で、セグメント化ゴシップは収束と訓練時間にどのような影響を与えるか？
• RQ3 モデルレプリカ（R）とセグメンテーション（S）が収束と通信効率に与える影響は？
• RQ4 中央集権的な調整なしで、システムは動的なワーカ参加をどのように処理できるか？
• RQ5 分散FLにおけるセグメント化ゴシップ集約の理論的な収束特性は何か？

主な発見

• Comboは中央集権型FedAvgと比較して訓練時間を大幅に削減しつつ、最終精度はほぼ同等を維持する。
• セグメント数Sを増やすと、利用可能な帯域をより飽和させることで同期時間を短縮できるが、帯域が枯渇すると効果が薄れる。
• モデルレプリカ数を増やすと、ある時点まで反復ごとの精度と収束が改善されるが、その後は効果が頭打ちになりオーバーヘッドのため訓練時間が増える可能性がある。
• S=10かつR=2では、Comboは素朴なゴシップを大きく上回り、20–40ワーカーでFedAvgよりもスケールする。
• モデルセグメントは1回あたりの精度を低下させず、セグメンテーションは同期を速める。
• 提案された収束解析では、最終境界は勾配発散（δ）と集約発散（ρ）に依存し、Rを増やすとρをAll-Reduce挙動に近づけて減らすことができる。