[論文レビュー] FedAT: A Communication-Efficient Federated Learning Method with Asynchronous Tiers under Non-IID Data.

Zheng Chai, Yujing Chen+3 more|arXiv (Cornell University)|Oct 12, 2020

Privacy-Preserving Technologies in Data参考文献 16被引用数 68

ひとこと要約

FedAT は、非 IID データ下でストレグラー効果を軽減し、通信ボトル neck を低減する通信効率の良いフェデレーテッドラーニング手法である。同期的インラインター層および非同期的クロスティアートレーニングを組み合わせることで、ストレグラーに配慮した重み付き集約と多項式エンコーディングに基づく圧縮を実装し、最先端の手法と比較してモデルの精度を最大 21.09% 向上させ、通信コストを最大 8.5 倍低減する。

ABSTRACT

Federated learning (FL) involves training a model over massive distributed devices, while keeping the training data localized. This form of collaborative learning exposes new tradeoffs among model convergence speed, model accuracy, balance across clients, and communication cost, with new challenges including: (1) straggler problem, where the clients lag due to data or (computing and network) resource heterogeneity, and (2) communication bottleneck, where a large number of clients communicate their local updates to a central server and bottleneck the server. Many existing FL methods focus on optimizing along only one dimension of the tradeoff space. Existing solutions use asynchronous model updating or tiering-based synchronous mechanisms to tackle the straggler problem. However, the asynchronous methods can easily create a network communication bottleneck, while tiering may introduce biases as tiering favors faster tiers with shorter response latencies. To address these issues, we present FedAT, a novel Federated learning method with Asynchronous Tiers under Non-i.i.d. data. FedAT synergistically combines synchronous intra-tier training and asynchronous cross-tier training. By bridging the synchronous and asynchronous training through tiering, FedAT minimizes the straggler effect with improved convergence speed and test accuracy. FedAT uses a straggler-aware, weighted aggregation heuristic to steer and balance the training for further accuracy improvement. FedAT compresses the uplink and downlink communications using an efficient, polyline-encoding-based compression algorithm, therefore minimizing the communication cost. Results show that FedAT improves the prediction performance by up to 21.09%, and reduces the communication cost by up to 8.5x, compared to state-of-the-art FL methods.

研究の動機と目的

• クライアントレベルのリソースおよびデータの非同一性に起因するフェデレーテッドラーニングにおけるストレグラー問題に対処すること。
• 大規模な FL システムにおける頻繁なアップリンクおよびダウンリンク送信に起因する通信ボトル neck を軽減すること。
• 非 IID データ分布下で、異種クライアント間でのモデル収束性と精度のバランスを取ること。
• 効率的な圧縮技術を用いてモデルのパフォーマンスを損なわせることなく通信コストを最小限に抑えること。
• 同期的インラインター層および非同期的クロスティアートレーニングを効果的に統合するハイブリッドトレーニング戦略を開発すること。

提案手法

• ストレグラー効果を管理するために、クライアントをそのトレーニング速度およびリソース利用可能性に基づいてティアにグループ化する。
• 各ティア内で同期的トレーニングを適用することで、一貫性のあるモデル更新を保証し、ばらつきを低減する。
• 非同期的クロスティアートレーニングにより、より速いティアが独立して進行でき、無駄な待機時間を削減し、収束速度を向上させる。
• ストレグラーに配慮した重み付き集約ヒューリスティックにより、クライアントの信頼性およびパフォーマンスに応じて寄与度を動的に調整し、モデル更新のバランスを取る。
• アップリンクおよびダウンリンク通信に多項式エンコーディングに基づく圧縮を適用することで、帯域幅の使用量を最小限に抑え、通信コストを削減する。
• ティア構造と適応的集約および圧縮を統合することで、モデルの精度を維持しながら効率性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 フェデレーテッドラーニングシステムは、非 IID データ下でクライアントの非均一性に起因するストレグラー問題をどのように効果的に軽減できるか？
• RQ2 非同期的クロスティアートレーニングは、モデル精度を低下させることなく、収束速度をどの程度向上させることができるか？
• RQ3 同期的インラインター層および非同期的クロスティアートレーニングを組み合わせたハイブリッドトレーニング戦略は、完全に同期的または非同期的な手法と比較して、通信ボトル neck をどの程度低減できるか？
• RQ4 ストレグラーに配慮した重み付き集約メカニズムは、クライアントの寄与度をバランスさせ、モデル精度を向上させるためにどの程度有効か？
• RQ5 多項式エンコーディングに基づく圧縮は、大規模なフェデレーテッドラーニングにおける通信コストおよびモデルパフォーマンスにどのような影響を与えるか？

主な発見

• 非 IID データ下で、最先端のフェデレーテッドラーニング手法と比較して、FedAT は予測性能を最大 21.09% 向上させる。
• アップリンクおよびダウンリンク更新の効率的な多項式エンコーディングに基づく圧縮により、通信コストを最大 8.5 倍低減する。
• 同期的インラインター層および非同期的クロスティアートレーニングのハイブリッドトレーニング戦略は、ストレグラー効果を顕著に低減し、収束を加速する。
• ストレグラーに配慮した重み付き集約メカニズムにより、クライアントの信頼性に応じて寄与度を動的に調整することで、モデル精度が向上する。
• FedAT は通信オーバーヘッドを最小限に抑えながら高いモデル精度を維持し、異種クライアント環境における強力なスケーラビリティを示している。
• ティアリング、適応的集約、および圧縮の組み合わせにより、収束速度、精度、通信効率の間でバランスの取れたトレードオフが実現されている。