[論文レビュー] FedSpeed: Larger Local Interval, Less Communication Round, and Higher Generalization Accuracy

Yan Sun, Li Shen+3 more|arXiv (Cornell University)|Feb 21, 2023

Privacy-Preserving Technologies in Data被引用数 12

ひとこと要約

FedSpeedは近似補正 prox-term と勾配摂動を導入し、連邦学習における局所バイアスと過適合を低減し、より大きな局所区間とより速い収束、一般化の改善を実現します。

ABSTRACT

Federated learning is an emerging distributed machine learning framework which jointly trains a global model via a large number of local devices with data privacy protections. Its performance suffers from the non-vanishing biases introduced by the local inconsistent optimal and the rugged client-drifts by the local over-fitting. In this paper, we propose a novel and practical method, FedSpeed, to alleviate the negative impacts posed by these problems. Concretely, FedSpeed applies the prox-correction term on the current local updates to efficiently reduce the biases introduced by the prox-term, a necessary regularizer to maintain the strong local consistency. Furthermore, FedSpeed merges the vanilla stochastic gradient with a perturbation computed from an extra gradient ascent step in the neighborhood, thereby alleviating the issue of local over-fitting. Our theoretical analysis indicates that the convergence rate is related to both the communication rounds $T$ and local intervals $K$ with a upper bound $\small \mathcal{O}(1/T)$ if setting a proper local interval. Moreover, we conduct extensive experiments on the real-world dataset to demonstrate the efficiency of our proposed FedSpeed, which performs significantly faster and achieves the state-of-the-art (SOTA) performance on the general FL experimental settings than several baselines. Our code is available at \url{https://github.com/woodenchild95/FL-Simulator.git}.

研究の動機と目的

• 分散データの非一様性によって生じる局所的不整合とクライアントドリフトに対処する。
• prox-correction と gradient perturbation を用いた FedSpeed を提案し、局所バイアスと過適合を低減する。
• 大きな局所区間を用いた非凸滑らかな設定で O(1/T) 収束速度を示す収束保証を確立する。
• IID および non-IID 分布に渡って CIFAR-10/100 と TinyImagenet で実用上の最先端性能を実証する。

提案手法

• 局所更新時の prox-term から生じるバイアスを打ち消す prox-correction 項を適用する。
• 標準的な確率的勾配に追加の勾配上昇ステップからの摂動を組み合わせて局所的な過適合を緩和する。
• 局所更新を三段階で行う：勾配を計算し、上昇ステップを実行し、二つ目の勾配を計算し、降下のための準勾配に統合する。
• 局所オフセットモーメントを捉え、ラウンド間のバイアスを低減する prox-駆動補正変数 hat{g}^t を更新する。
• 各ラウンドにつき K 個の局所ステップの後に修正された局所モデルを平均化してグローバル集約を行う。
• 局所区間 K、摂動、学習率の適切な選択の下で O(1/T) 収束速度を示す収束解析を提供する。

(a) 10 $\%$ participation of 100 clients on CIFAR-10.

実験結果

リサーチクエスチョン

• RQ1 prox-correction と gradient perturbation はFLにおける局所的不整合とクライアントドリフトにどう影響するか？
• RQ2 既存のベースラインと比較して、より大きな局所区間で FedSpeed はより速い収束とより良い一般化を達成できるか？
• RQ3 異種データを伴う非凸滑らかな目的関数の下での FedSpeed の理論的収束保証は何か？
• RQ4 IID および non-IID 設定と参加度の変化の下で、標準データセット上で FedSpeed は実証的にどのように機能するか？

主な発見

手法	CIFAR-10 IID	CIFAR-10 DIR	CIFAR-100 IID	CIFAR-100 DIR	TinyImagenet IID	TinyImagenet DIR
FedAvg	77.01	75.21	40.68	39.33	33.58	32.71
FedProx	77.68	75.97	41.29	39.69	33.71	32.78
FedAdam	82.92	80.55	51.65	49.29	40.85	39.71
SCAFFOLD	80.11	77.71	47.38	46.33	38.03	37.54
FedCM	84.20	83.48	52.35	50.98	41.90	41.67
FedDyn	83.36	80.57	46.18	46.60	34.69	33.92
FedADMM	81.29	79.71	45.51	46.65	36.03	33.83
FedSpeed	85.80	84.79	53.93	52.88	43.38	42.75

• 実験において FedSpeed は FedAvg、FedProx、FedCM、FedPD、SCAFFOLD、FedDyn、FedADMM と比較してより速い収束と向上した一般化を達成する。
• より大きな局所区間では、FedSpeed は安定性を維持し、CIFAR-10/100 および TinyImagenet でテスト精度を向上させる。
• 500 クライアント中 2% 参加で、FedSpeed は CIFAR-10/100 および TinyImagenet において IID および Dirichlet(0.6) non-IID 設定で最高のテスト精度を達成（強力なベースラインに対して相対的な利得は最大で約3ポイント程度）。
• 理論的な結果は局所区間 K が適切に大きく、学習率が適切に調整された場合、高速な O(1/T) 収束速度を示す。

(c) 2 $\%$ participation of 500 clients on CIFAR-100.