[論文レビュー] Communication-Efficient Federated Learning with Accelerated Client Gradient

Geeho Kim, Jinkyu Kim+1 more|arXiv (Cornell University)|Jan 10, 2022

Privacy-Preserving Technologies in Data被引用数 16

ひとこと要約

本稿では、追加の通信やメモリコストを伴わずに、クライアントの更新にグローバルモーメンタムを組み込むことで収束を加速する通信効率の高いフェデレーテッドラーニングフレームワーク、FedAGMを提案する。グローバルモーメンタムを含むグローバルモデルをブロードキャストし、局所的目的関数を正則化することにより、FedAGMはクライアントドリフトを低減し、特に低クライアント参加率および高いデータ非独立同分布性の下でも安定性を向上させる。精度と通信効率の両面で、最先端の手法を上回る性能を達成する。

ABSTRACT

Federated learning often suffers from slow and unstable convergence due to the heterogeneous characteristics of participating client datasets. Such a tendency is aggravated when the client participation ratio is low since the information collected from the clients has large variations. To address this challenge, we propose a simple but effective federated learning framework, which improves the consistency across clients and facilitates the convergence of the server model. This is achieved by making the server broadcast a global model with a lookahead gradient. This strategy enables the proposed approach to convey the projected global update information to participants effectively without additional client memory and extra communication costs. We also regularize local updates by aligning each client with the overshot global model to reduce bias and improve the stability of our algorithm. We provide the theoretical convergence rate of our algorithm and demonstrate remarkable performance gains in terms of accuracy and communication efficiency compared to the state-of-the-art methods, especially with low client participation rates. The source code is available at our project page.

研究の動機と目的

• クライアントのデータの非独立同分布性と低参加率による不安定で遅い収束を解消すること。
• 通信やメモリのオーバーヘッドを増加させることなく、クライアントドリフトと局所的・グローバルな更新の勾配不一致を低減すること。
• 部分的クライアント参加が見られる現実的なフェデレーテッドラーニング設定において、収束の安定性と通信効率を向上させること。
• 追加コストなしに、グローバル勾配モーメンタムをクライアントの更新に自然に統合する手法を開発すること。
• 局所的目的関数の正則化を通じて、データの非独立同分布性と低クライアント参加率に対する耐性を高めること。

提案手法

• FedAGMは、過去のグローバル勾配からのモーメンタムを強化したグローバルモデルをブロードキャストし、クライアントがそのモーメンタムを局所的更新に活用できるようにする。
• モーメンタムはサーバーでグローバル勾配を用いて計算され、追加の通信を伴わずにモデル更新に統合される。
• 局所的クライアント目的関数に正則化項を追加し、局所勾配をグローバル勾配の方向に一致させる。
• 正則化項はグローバル勾配とクライアントの局所モデルの関数として定義され、局所更新のバイアスを低減する。
• クライアントに追加のストレージは不要であり、追加の通信ラウンドや帯域幅の使用も回避される。
• アルゴリズムは減衰係数λを介してモーメンタム寄与を動的に調整し、加速と安定性のバランスを取る。

実験結果

リサーチクエスチョン

• RQ1 フェデレーテッドラーニングにおいて、追加の通信コストを負担せずに、グローバルモーメンタムをクライアントに効率的に伝える方法は何か？
• RQ2 高いクライアントデータ非独立同分布性下で、グローバル勾配モーメンタムを組み込むことで、収束の安定性はどの程度向上するか？
• RQ3 局所的目的関数の正則化は、勾配の一貫性とモデル性能にどのように影響するか？
• RQ4 クライアントドリフトが最も顕著になる低参加率環境下でも、FedAGMは高い性能を維持できるか？
• RQ5 多様なデータ分布において、通信効率と最終的な精度の観点から、FedAGMは最先端手法と比べてどの程度優れているか？

主な発見

• CIFAR-10で2%の参加率とDirichlet(0.3)のデータ分割条件下で、FedAGMはそれぞれ59.64%および63.50%のテスト精度を達成し、FedAvgおよびFedProxを上回る。
• 2%のクライアント参加率下で、CIFAR-10（Dirichlet 0.3）において、FedAGMは321ラウンドで収束するが、FedAvgは1000ラウンド以上を要する。
• CIFAR-100で2%の参加率の場合、FedAGMは678ラウンドで48.40%の精度を達成し、ベースラインβ=0設定（736ラウンドで46.80%）を上回る。
• 低参加率下でも、FedProx や FedAdam と異なり、性能の著しい低下を示さない。
• アブレーションスタディの結果、局所的目的関数における正則化が、あらゆる参加率レベルで収束速度と精度の両方を向上させることを確認した。
• 感度分析の結果、λ=0.95は過剰なモーメンタムにより性能を低下させるが、それでもFedAGMは大多数のベースラインを上回る性能を示した。