[論文レビュー] Decentralized Federated Learning: Balancing Communication and Computing Costs

Wei Liu, Li Chen+1 more|arXiv (Cornell University)|Jul 26, 2021

Privacy-Preserving Technologies in Data被引用数 11

ひとこと要約

本稿は、周期的な複数回の局所更新と複数回のノード間通信をスケジューリングすることで、通信コストと計算コストのバランスをとる分散型フェデレーテッドラーニング（DFL）フレームワークを提案する。凸性の仮定を必要とせず、強い収束保証を確立し、圧縮通信（C-DFL）を導入した。C-DFLは強凸目的関数に対して線形収束を達成し、MNISTおよびCIFAR-10において通信効率を顕著に向上させる。

ABSTRACT

Decentralized stochastic gradient descent (SGD) is a driving engine for decentralized federated learning (DFL). The performance of decentralized SGD is jointly influenced by inter-node communications and local updates. In this paper, we propose a general DFL framework, which implements both multiple local updates and multiple inter-node communications periodically, to strike a balance between communication efficiency and model consensus. It can provide a general decentralized SGD analytical framework. We establish strong convergence guarantees for the proposed DFL algorithm without the assumption of convex objectives. The convergence rate of DFL can be optimized to achieve the balance of communication and computing costs under constrained resources. For improving communication efficiency of DFL, compressed communication is further introduced to the proposed DFL as a new scheme, named DFL with compressed communication (C-DFL). The proposed C-DFL exhibits linear convergence for strongly convex objectives. Experiment results based on MNIST and CIFAR-10 datasets illustrate the superiority of DFL over traditional decentralized SGD methods and show that C-DFL further enhances communication efficiency.

研究の動機と目的

• 制限されたリソース下での分散型フェデレーテッドラーニング（DFL）における通信効率とモデルの整合性のトレードオフを解消すること。
• 計算コストと通信コストのバランスを取るために、周期的な複数回の局所更新と複数回のノード間通信をサポートする汎用的なDFLフレームワークの開発。
• 目的関数が凸でない場合のDFLの収束保証を確立し、非凸設定でも頑健なパフォーマンスを確保すること。
• DFLに圧縮通信を統合することで通信効率を向上させ、スケーラビリティが向上するC-DFLの開発。
• 提案されたDFLおよびC-DFLフレームワークが、実世界のデータセットにおいて従来の分散型SGDに比べて優れていることを実験的に検証すること。

提案手法

• 各ラウンドで複数回の局所更新と複数回のノード間通信を繰り返すことで、通信と計算のバランスを取る汎用的なDFLフレームワークを導入。
• 新しいリャプノフ関数と再帰的誤差バインディングを用いて、非凸目的関数に対する理論的収束解析を導出。
• ランダムスパーシフィケーションと量子化を用いて圧縮通信を実装し、DFLにおける通信オーバーヘッドを低減。
• 圧縮通信を統合したDFLの変種としてC-DFLを提案し、強凸目的関数に対して線形収束を証明。
• 誤差蓄積と整合性誤差の構造的解析を用いて、さまざまなシステムパラメータ下での収束速度の上限を導出。
• 収束の安定化と非凸設定での収束加速のため、ステップサイズスケジュールとモーメンタム型項を採用。

実験結果

リサーチクエスチョン

• RQ1 リソース制約環境下で、分散型フェデレーテッドラーニングが通信コストと計算コストのバランスをどのように効果的にとれるか。
• RQ2 非凸目的関数下でのDFLの収束特性は何か？また、強い仮定を必要とせずに保証可能か？
• RQ3 圧縮通信をDFLに効果的に統合することで、通信オーバーヘッドを低減しつつ収束性を維持できるか？
• RQ4 提案されたC-DFLフレームワークは、従来の分散型SGDと比較して、収束速度と通信効率の点でどのように優れているか？
• RQ5 高いパフォーマンスを得るために、DFLにおける局所更新回数とノード間通信回数の最適なトレードオフは何か？

主な発見

• 提案されたDFLフレームワークは、目的関数の凸性を仮定せずとも強い収束保証を達成し、実用的な非凸設定でも頑健であることを示した。
• DFLの圧縮通信版であるC-DFLは、強凸目的関数に対して線形収束を示し、理論的効率向上を実証した。
• MNISTおよびCIFAR-10における実験結果から、DFLは従来の分散型SGDに比べて収束速度とモデル精度の点で優れていることが明らかになった。
• C-DFLは標準的なDFLに比べて通信コストを顕著に低減しており、実験により収束品質を損なわず通信効率が向上していることが確認された。
• リソース制約下で、局所更新回数とノード間通信ラウンド数の調整により、フレームワークの収束速度を最適化可能であることが示された。
• 理論的解析により、誤差蓄積と整合性誤差が有界であることが確認され、圧縮率や通信頻度などのシステムパラメータに明示的な依存関係があることが示された。