[論文レビュー] FedExP: Speeding Up Federated Averaging via Extrapolation

Divyansh Jhunjhunwala, Shiqiang Wang+1 more|arXiv (Cornell University)|Jan 23, 2023

Stochastic Gradient Optimization Techniques被引用数 8

ひとこと要約

FedExP は局所的な擬似勾配に基づく外挿風機構を用いて FedAvg のサーバー学習率を適応的に調整し、追加のクライアント/サーバー通信やストレージを増やすことなく、FLタスク全般で収束を速める。

ABSTRACT

Federated Averaging (FedAvg) remains the most popular algorithm for Federated Learning (FL) optimization due to its simple implementation, stateless nature, and privacy guarantees combined with secure aggregation. Recent work has sought to generalize the vanilla averaging in FedAvg to a generalized gradient descent step by treating client updates as pseudo-gradients and using a server step size. While the use of a server step size has been shown to provide performance improvement theoretically, the practical benefit of the server step size has not been seen in most existing works. In this work, we present FedExP, a method to adaptively determine the server step size in FL based on dynamically varying pseudo-gradients throughout the FL process. We begin by considering the overparameterized convex regime, where we reveal an interesting similarity between FedAvg and the Projection Onto Convex Sets (POCS) algorithm. We then show how FedExP can be motivated as a novel extension to the extrapolation mechanism that is used to speed up POCS. Our theoretical analysis later also discusses the implications of FedExP in underparameterized and non-convex settings. Experimental results show that FedExP consistently converges faster than FedAvg and competing baselines on a range of realistic FL datasets.

研究の動機と目的

• データヘテレージ性と部分的なクライアント参加に起因する FedAvg のスローダウンを動機づける。
• 外挿プロックス（POCS）法に触発された FL におけるサーバー学習率適応機構を導入する。
• ラウンドごとのクライアント更新を用いてサーバーの学習率を自動的に設定する FedExP を開発する。
• 過パラメータ化、低パラメータ化、凸・非凸設定に対する理論的収束洞察を提供する。
• 現実的な FL データセット上で FedAvg およびベースラインよりも実証的な高速化を示すとともに、計算/通信オーバーヘッドを変更しない。

提案手法

• 過パラメータ化したレジームにおける FedAvg と Projection Onto Convex Sets (POCS) の関連を描く。
• FedAvg のサーバー学習率を外挿された POCS（EPPM）における外挿パラメータと関連づける。
• 適応的なサーバー学習率の式を導出する: (ηg(t))FedExP = max{1, [sum_i ||Δi(t)||^2] / [2M (||Δ̄(t)||^2 + ε)]}。
• 近似射影条件の下で、FedExP が ηg(t) を選ぶことによって FedAvg に収束距離を最小化することで劣化せず、あるいは改善することを証明する。
• ローカル SGD ステップ、ローカルデルタ、そして FedExP サーバー更新を含む Algorithm 1（FedExP）を提示する。
• 部分的クライアント参加とセキュアアグリゲーションとの互換性を論じる。

実験結果

リサーチクエスチョン

• RQ1 ラウンドごとのクライアント更新に基づく適応的サーバー学習率設定は連合学習の収束を加速するか？
• RQ2 FedExP は POCS の外挿法とどのように関連し、この直感は実践的な FL 更新を導くか？
• RQ3 凸、低パラメータ化、非凸の連合設定における FedExP の収束特性は？
• RQ4 FedExP はヘテロジニティ、確率的ノイズ、部分参加に対して追加の通信やストレージなしで頑健か？

主な発見

• FedExP はさまざまな FL データセットで一貫して FedAvg および競合ベースラインより速く収束する。
• FedExP は現実的なタスクで FedAvg より約1.4–2×の速度アップを達成する。
• クライアントおよびサーバーでほとんど追加の通信、計算、またはストレージを必要としない。
• FedExP は部分的なクライアント参加およびセキュアアグリゲーションと互換性がある。
• 過パラメータ化な凸領域において、近似射影条件が成り立つ場合 FedExP は FedAvg を大幅に上回ることがある。
• 標準的な FL アサンプションの下で、凸および非凸設定における理論的収束保証を提供する。