[論文レビュー] Linear Convergence in Federated Learning: Tackling Client Heterogeneity and Sparse Gradients

Aritra Mitra, Rayana H. Jaafar+2 more|arXiv (Cornell University)|Feb 14, 2021

Privacy-Preserving Technologies in Data参考文献 59被引用数 39

ひとこと要約

FedLin は、目的とシステムのヘテロゲネシティの下でグローバル最小点へ線形収束を達成する FedLin を提案します。勾配のスパース化があっても。

ABSTRACT

We consider a standard federated learning (FL) architecture where a group of clients periodically coordinate with a central server to train a statistical model. We develop a general algorithmic framework called FedLin to tackle some of the key challenges intrinsic to FL, namely objective heterogeneity, systems heterogeneity, and infrequent and imprecise communication. Our framework is motivated by the observation that under these challenges, various existing FL algorithms suffer from a fundamental speed-accuracy conflict: they either guarantee linear convergence but to an incorrect point, or convergence to the global minimum but at a sub-linear rate, i.e., fast convergence comes at the expense of accuracy. In contrast, when the clients' local loss functions are smooth and strongly convex, we show that FedLin guarantees linear convergence to the global minimum, despite arbitrary objective and systems heterogeneity. We then establish matching upper and lower bounds on the convergence rate of FedLin that highlight the effects of intermittent communication. Finally, we show that FedLin preserves linear convergence rates under aggressive gradient sparsification, and quantify the effect of the compression level on the convergence rate. Our work is the first to provide tight linear convergence rate guarantees, and constitutes the first comprehensive analysis of gradient sparsification in FL.

研究の動機と目的

• フェデレーテッド学習における目的のヘテロゲネシティ、システムのヘテロゲネシティ、および通信制約に対処する。
• 滑らかで強凸な局所損失の下でグローバル最適解へ線形収束を達成するフレームワークを開発する。
• 厳密な収束速度境界を提供し、断続的な通信と勾配スパース化の影響を分析する。

提案手法

• グローバル勾配のメモリを用いた勾配補正項を伴う FedLin を提案する。
• クライアントごとに異なる局所ステップを補償するため、クライアント固有の学習率を使用する。
• 勾配スパース化に対処するため、クライアントとサーバの両方にエラーフィードバック機構を組み込む。
• TOP-k 演算子による強力な勾配スパース化を許容し、収束への影響を分析する。
• FedLin が決定論的設定の下で中央集権型の収束速度と一致し、確率的オラクルモデルへ拡張されることを示す。
• 断続的な通信のコストと局所ステップの限界を示す下界を導出する。

実験結果

リサーチクエスチョン

• RQ1 目的とシステムのヘテロゲネシティにもかかわらず、FedLin はグローバル最小点へ線形収束を達成できるか？
• RQ2 断続的な通信（ラウンド間の局所ステップ）は収束速度にどう影響するか？
• RQ3 勾配スパース化の影響と、それがサーバなのかクライアントなのかどこで適用されるかが収束に与える影響は？
• RQ4 クライアント固有の学習率は、局所更新のヘテロゲネスによるドリフトを打ち消すのに十分か？
• RQ5 決定論的および確率的設定下で、FedLin の厳密なレート特性は存在するか？

主な発見

• FedLin は、滑らかで強凸な損失に対して、任意の目的関数およびシステムのヘテロゲネシティの下でグローバル最小点への線形収束を保証する。
• 本論文は収束速度の同等な上界と下界を確立し、断続的な通信の代償を強調する。
• FedLin は積極的な勾配スパース化の下でも線形収束を保ち、圧縮レベルが収束速度へ及ぼす影響を定量化する。
• 勾配がサーバでスパース化される場合、エラーフィードバックなしで真の最小値へ線形収束を達成できる。一方、エラーフィードバックは速度を改善する。
• 各クライアントで勾配をスパース化する場合、エラーフィードバックがあっても真の最小値の近傍への線形収束が保証される。
• この分析は、フェデレーテッド学習における最初の厳密な線形収束速度保証と、勾配スパース化の包括的な扱いを示す。