[論文レビュー] FedAT: A High-Performance and Communication-Efficient Federated Learning System with Asynchronous Tiers

Zheng Chai, Yujing Chen+4 more|arXiv (Cornell University)|Oct 12, 2020

Privacy-Preserving Technologies in Data参考文献 48被引用数 28

ひとこと要約

FedAT は、同期的インラインティアと非同期的クロスティアトレーニングを組み合わせることで、遅延クライアント（stragglers）と通信ボトルネックを軽減する新しいフェデレーテッドラーニングシステムである。ストラグルラーアウェアな重み付きアグリゲーションとポリライン符号化圧縮を用いることで、非 i.i.d. データと異種クライアント環境下で、最先端の手法と比較して予測精度が最大 21.09% 向上し、通信コストが 8.5 倍低減される。

ABSTRACT

Federated learning (FL) involves training a model over massive distributed devices, while keeping the training data localized. This form of collaborative learning exposes new tradeoffs among model convergence speed, model accuracy, balance across clients, and communication cost, with new challenges including: (1) straggler problem, where the clients lag due to data or (computing and network) resource heterogeneity, and (2) communication bottleneck, where a large number of clients communicate their local updates to a central server and bottleneck the server. Many existing FL methods focus on optimizing along only one dimension of the tradeoff space. Existing solutions use asynchronous model updating or tiering-based synchronous mechanisms to tackle the straggler problem. However, the asynchronous methods can easily create a network communication bottleneck, while tiering may introduce biases as tiering favors faster tiers with shorter response latencies. To address these issues, we present FedAT, a novel Federated learning method with Asynchronous Tiers under Non-i.i.d. data. FedAT synergistically combines synchronous intra-tier training and asynchronous cross-tier training. By bridging the synchronous and asynchronous training through tiering, FedAT minimizes the straggler effect with improved convergence speed and test accuracy. FedAT uses a straggler-aware, weighted aggregation heuristic to steer and balance the training for further accuracy improvement. FedAT compresses the uplink and downlink communications using an efficient, polyline-encoding-based compression algorithm, therefore minimizing the communication cost. Results show that FedAT improves the prediction performance by up to 21.09%, and reduces the communication cost by up to 8.5x, compared to state-of-the-art FL methods.

研究の動機と目的

• クライアントのリソースとデータの非同一性に起因するフェデレーテッドラーニングにおけるストラグルラー問題に対処すること。
• 高密度のクライアントがサーバーを圧迫する非同期 FL における通信ボトルネックを克服すること。
• 非 i.i.d. データ環境下で、モデルの収束速度、精度、通信効率のバランスを取ること。
• 部分的なクライアント参加やティア間でのクライアント分布の偏りが生じても、高いパフォーマンスを維持できるシステムを開発すること。
• 効率的な圧縮と知的なアグリゲーションにより、モデル精度を損なわずに通信コストを最小限に抑えること。

提案手法

• 計算能力およびネットワーク能力に応じてクライアントをティアにグループ化する階層型アーキテクチャを導入し、ストラグルラーを効果的に管理する。
• 各ティア内で同期トレーニングを実施することで、高速クライアントからの安定的かつ調整された更新を保証する。
• 非同期的クロスティア通信を採用し、より速いティアが遅いクライアントを待たずに更新を提供できるようにする。
• ストラグルラーに配慮した重み付きアグリゲーションヒューリスティックを適用し、更新の品質と遅延に基づいて、信頼性の高いまたは高速なクライアントに高い影響力を与える。
• ポリライン符号化に基づく圧縮アルゴリズムを実装し、アップリンクおよびダウンリンクの通信オーバーヘッドを低減する。
• 理論的分析により、提案フレームワーク下で凸および非凸損失関数の収束が保証されることを証明した。

実験結果

リサーチクエスチョン

• RQ1 非 i.i.d. データ下で、ハイブリッド同期非同期トレーニング戦略がフェデレーテッドラーニングにおけるストラグルラー効果を効果的に軽減できるか？
• RQ2 重み付きアグリゲーションを伴うティアリングは、純粋な同期的または非同期的 FL と比較して、モデルの精度と収束速度をどのように向上させるか？
• RQ3 効率的な圧縮を用いることで、通信コストをどの程度低減できるか、かつモデルパフォーマンスの劣化を防げるか？
• RQ4 クライアント参加率の変動やティア間でのクライアント分布の不均衡に対して、システムの耐性はどの程度高いか？
• RQ5 極端なクライアントドロップや部分的参加が発生しても、提案手法が高いパフォーマンスを維持できるか？

主な発見

• FedAT は、CIFAR-10 および FEMNIST において、最先端の FL 手法と比較して予測精度を最大 21.09% 向上させた。
• ポリライン符号化に基づく圧縮により、通信コストが最大 8.5 倍低減された。
• 1 輪あたり 100 名中 2 名のクライアント参加でも、FedAVG と比較して CIFAR-10 で 14.47% 高い精度を達成した。
• 均一、遅延、中程度、高速のティア分布を含むすべてのテスト設定において、FedAT は最終的なモデル精度にほとんど影響を受けることなく高いパフォーマンスを維持した。
• 非同期クロスティア更新のおかげで、部分的参加下でも FedAvg や TiFL よりも迅速に収束した。
• 理論的分析により、FedAT フレームワーク下で凸および非凸損失関数の両方に対して収束保証が得られることを確認した。