[論文レビュー] Hierarchical Federated Learning through LAN-WAN Orchestration

Jinliang Yuan, Mengwei Xu+4 more|arXiv (Cornell University)|Oct 22, 2020

Privacy-Preserving Technologies in Data参考文献 45被引用数 31

ひとこと要約

この論文はLAN認識階層型連邦学習フレームワーク LanFL を紹介します。LAN内トポロジーを用いた集約で訓練を加速し WAN トラフィックを低減するとともに、精度を維持します。

ABSTRACT

Federated learning (FL) was designed to enable mobile phones to collaboratively learn a global model without uploading their private data to a cloud server. However, exiting FL protocols has a critical communication bottleneck in a federated network coupled with privacy concerns, usually powered by a wide-area network (WAN). Such a WAN-driven FL design leads to significantly high cost and much slower model convergence. In this work, we propose an efficient FL protocol, which involves a hierarchical aggregation mechanism in the local-area network (LAN) due to its abundant bandwidth and almost negligible monetary cost than WAN. Our proposed FL can accelerate the learning process and reduce the monetary cost with frequent local aggregation in the same LAN and infrequent global aggregation on a cloud across WAN. We further design a concrete FL platform, namely LanFL, that incorporates several key techniques to handle those challenges introduced by LAN: cloud-device aggregation architecture, intra-LAN peer-to-peer (p2p) topology generation, inter-LAN bandwidth capacity heterogeneity. We evaluate LanFL on 2 typical Non-IID datasets, which reveals that LanFL can significantly accelerate FL training (1.5x-6.0x), save WAN traffic (18.3x-75.6x), and reduce monetary cost (3.8x-27.2x) while preserving the model accuracy.

研究の動機と目的

• WAN ボトルネックとコストを FED 学習で削減することを、豊富な LAN 帯域を活用して動機づける。
• 階層的な LAN-WAN FL 設計を提案し、収束速度を改善し WAN トラフィックを削減する。
• LAN ドメイン集約、P2P LAN内トポロジ、および LAN のヘテロ性に対応する動的デバイス選択で LanFL を開発する。
• LAN 上の非 IID データセットで LanFL を評価し、スピードアップ、WAN トラフィック削減、コスト削減を定量化する。

提案手法

• LAN 認識 FL を提案し、LAN ドメイン間および中央クラウドオーケストレータを跨ぐ階層的集約を行う。
• LAN 内の通信のための2つの集約トポロジーを設計：パラメータサーバー（PS）とリング・オールリデュース（Ring-AllReduce）、AP トポロジーとスループットに基づきLANごとに選択する。
• LAN 内の速度と精度のバランスを取るためのデバイスラウンド（RL）とローカルエポック（E）チューニング戦略を導入する。
• LAN ドメイン集約を頻度高く（LAN内）行い、クラウドレベルの集約を頻度低く（LAN間）行う2層の FedAvg 類似ワークフローを実装する。
• 異なるLANドメイン間のスループットのバランスを取るために、LANごとに参加デバイスを動的に選択する。
• LAN での通信時間を com_T_L（PS または Ring のスループット方程式を用いる）としてモデル化し、WAN の通信時間 com_T_W はモデルサイズと BW に基づいて算出し、既存の FL 形式に従う。
• LEAF ベースの非 IID 分割を用いて FEMNIST および CelebA データセットで実験的に評価し、LanFL を WAN 主導の FL ベースラインと比較する。

実験結果

リサーチクエスチョン

• RQ1 LAN 認識階層型集約は WAN のみの FL と比べて収束を加速できるか？
• RQ2 LAN 内トポロジー（PS vs Ring）は LAN のスループットと全体的な訓練時間にどのような影響を与えるか？
• RQ3 LAN 間のヘテロ性は収束にどのように影響し、動的デバイス選択はスレッガーを緩和できるか？
• RQ4 LanFL と従来の FL の WAN トラフィックと金銭的コストにはどのような影響があるか？
• RQ5 LAN 間での非 IID データ分布下で LanFL はモデル精度を維持できるか？

主な発見

• LanFL はモデルの収束を大幅に加速（1.5×–6.0×）、WAN トラフィックを削減（18.3×–75.6×）、金額コストを低減（3.8×–27.2×）しつつ精度を維持します。
• FEMNIST と CelebA において WAN-FL ベースラインと比較して、LANFL は収束を速くし WAN 利用を抑制します。
• LAN 内トポロジー（PS vs Ring）と AP 容量プロファイリングにより、スループットが向上し LAN 帯域の利用が最適化されます。
• 動的なLANドメインデバイス選択はヘテロ性由来のスレッガー効果を緩和し、LAN間で同期された進捗を維持します。
• このフレームワークはLAN内で頻繁なローカル集約とWANを跨ぐグローバルな集約を稀に行い、収束に必要なラウンド数を減らします。