[論文レビュー] Communication-Efficient Federated Learning with Compensated Overlap-FedAvg

Yuhao Zhou, Qing Ye+1 more|arXiv (Cornell University)|Dec 12, 2020

Privacy-Preserving Technologies in Data参考文献 48被引用数 5

ひとこと要約

本稿では、通信効率の高いフェデレーテッドラーニングフレームワークである Overlap-FedAvg を提案する。この手法は、局所モデルの学習とグローバルモデルの通信を重ねることで、無駄な待機時間を排除する。階層的計算戦略、データ補償メカニズム、Nesterov加速勾配を導入することで、通信オーバーヘッドを低減しながらも、モデルの精度を維持したまま収束速度を向上させ、低帯域幅環境下でも有効である。

ABSTRACT

Petabytes of data are generated each day by emerging Internet of Things (IoT), but only few of them can be finally collected and used for Machine Learning (ML) purposes due to the apprehension of data & privacy leakage, which seriously retarding ML's growth. To alleviate this problem, Federated learning is proposed to perform model training by multiple clients' combined data without the dataset sharing within the cluster. Nevertheless, federated learning introduces massive communication overhead as the synchronized data in each epoch is of the same size as the model, and thereby leading to a low communication efficiency. Consequently, variant methods mainly focusing on the communication rounds reduction and data compression are proposed to reduce the communication overhead of federated learning. In this paper, we propose Overlap-FedAvg, a framework that parallels the model training phase with model uploading & downloading phase, so that the latter phase can be totally covered by the former phase. Compared to vanilla FedAvg, Overlap-FedAvg is further developed with a hierarchical computing strategy, a data compensation mechanism and a nesterov accelerated gradients~(NAG) algorithm. Besides, Overlap-FedAvg is orthogonal to many other compression methods so that they can be applied together to maximize the utilization of the cluster. Furthermore, the theoretical analysis is provided to prove the convergence of the proposed Overlap-FedAvg framework. Extensive experiments on both conventional and recurrent tasks with multiple models and datasets also demonstrate that the proposed Overlap-FedAvg framework substantially boosts the federated learning process.

研究の動機と目的

• クライアントとサーバー間の頻繁なモデル重みの送信が原因で生じるフェデレーテッドラーニングにおける高い通信オーバーヘッドを解消すること。
• モデルのアップロード／ダウンロードフェーズ中に局所学習を継続させることで、通信中の無駄な待機時間を排除すること。
• 学習と通信を重ねても、収束速度とモデル精度を維持できること。
• 中央サーバーがクライアントの学習率を知らなくてもよいプライバシー保護メカニズムを設計すること。
• 既存の圧縮技術と互換性を持たせ、さらなる通信効率化を可能とすること。

提案手法

• Overlap-FedAvg は、クライアントがモデルのアップロード／ダウンロード中に学習を継続できるようにすることで、学習フェーズと通信フェーズを分離し、計算と通信を重ねる。
• 非同期クライアント更新を管理し、モデルパラメータの陳腐化を低減するため、階層的計算戦略を採用する。
• 重ねる通信に起因する陳腐化した勾配を補正するために、スケーリングされた勾配とハイパーパrameter λ で制御されるヘッセ行列の近似を用いたデータ補償メカニズムを導入する。
• 収束速度とモデル性能の向上を図るため、Nesterov加速勾配（NAG）を統合する。
• 補償のため、中央サーバーは固定された学習率（例：1.0）を仮定する。これにより、実際のクライアントの学習率が非公開のままとなり、プライバシーが保たれる。
• 理論的分析により、緩い仮定のもとで収束が保証され、本手法は既存の圧縮技術と直交するため、併用が可能である。

実験結果

リサーチクエスチョン

• RQ1 フェデレーテッドラーニングにおける学習と通信フェーズの重ね込みが、無駄な待機時間を著しく削減し、通信効率を向上させることができるか？
• RQ2 学習と通信を重ねた場合に生じるモデルの陳腐化を、クライアント固有のハイパーパrameter（例：学習率）を漏洩させることなく効果的に補償できるか？
• RQ3 提案されたフレームワークは、通常の FedAvg と比較して収束速度と最終的なモデル精度を維持できるか？
• RQ4 補償メカニズムは、中央サーバーがクライアントの学習率を知らない状況でもプライバシー保護を実現できるように設計できるか？
• RQ5 Overlap-FedAvg は、他の通信圧縮技術とどの程度組み合わせられるか？

主な発見

• Overlap-FedAvg は、学習と通信を重ねることで通信オーバーヘッドを低減し、連続的な局所計算を可能とし、無駄な待機時間を最小限に抑える。
• データ補償メカニズムは、陳腐化した勾配の悪影響を効果的に緩和し、収束速度と最終的なモデル精度を維持する。
• Nesterov加速勾配を組み込むことで、Overlap-FedAvg は、FedAvg よりも少ない訓練イテレーション数と短いウォールクロック時間で、より高い精度を達成する。
• 画像分類および自然言語処理のタスクにおいて、低帯域幅環境下でも、Overlap-FedAvg は FedAvg とほぼ同等の最終的な精度を維持する。
• 理論的分析により、標準的な仮定のもとで Overlap-FedAvg の収束が保証され、信頼性が裏付けられる。
• 本手法は既存の圧縮技術と直交するため、それらと組み合わせることでさらなる通信効率化が可能である。