[論文レビュー] Server Averaging for Federated Learning

George Pu, Yanlin Zhou+2 more|arXiv (Cornell University)|Mar 22, 2021

Privacy-Preserving Technologies in Data参考文献 16被引用数 4

ひとこと要約

本稿では、フェデレーテッドラーニングにおけるサーバー平均化を提案し、グローバルモデルを複数の過去のグローバルモデルから定期的に平均化することで収束を加速する。実験の結果、特に非独立同分布（non-IID）データにおいて、FedAvgよりも目標精度に到達するまでの時間が短縮され、エポック減衰によりクライアントの計算量を最大40%まで削減しても性能に影響を及げないことが示された。

ABSTRACT

Federated learning allows distributed devices to collectively train a model without sharing or disclosing the local dataset with a central server. The global model is optimized by training and averaging the model parameters of all local participants. However, the improved privacy of federated learning also introduces challenges including higher computation and communication costs. In particular, federated learning converges slower than centralized training. We propose the server averaging algorithm to accelerate convergence. Sever averaging constructs the shared global model by periodically averaging a set of previous global models. Our experiments indicate that server averaging not only converges faster, to a target accuracy, than federated averaging (FedAvg), but also reduces the computation costs on the client-level through epoch decay.

研究の動機と目的

• フェデレーテッドラーニングの収束が遅いため、特に非独立同分布（non-i.i.d.）データ分布下での改善を図ること。
• モデル性能を損なわずにクライアント側の計算コストを低減すること。
• サーバー側での過去のグローバルモデル状態の平均化を活用することで、収束速度と一般化性能を向上させること。
• エポック減衰がクライアントレベルの計算制御メカニズムとして有効であるかを検討すること。

提案手法

• サーバー平均化は、過去P個のグローバルモデルを用いて、Pサイズのスライディングウインドウを用いて定期的に新しいグローバルモデルを計算する。
• 平均化はRラウンドごとに行われ、式 $ w^t \text{←} \sum_{i=0}^{P-1} w^{t-i} $ により、最近のグローバルモデルの重み付け平均が得られる。
• エポック減衰は、初期値Eから出発し、Dラウンドごとに半減する：$ E_t = \max(E / 2^{\lfloor t/D \rfloor}, 1) $。
• 本手法は非IIDDフェデレーテッドMNISTに適用され、90%、95%、97%、98%の閾値におけるテスト精度をFedAvgと比較して評価された。
• 反復平均化の原則を活用することで、トレーニングの安定化と一般化性能の向上が図られ、Stochastic Weight Averaging（SWA）と同様の効果が得られる。
• 本手法は通信および計算効率が高く、追加の勾配やモーメンタム項の送信を不要とする。

実験結果

リサーチクエスチョン

• RQ1 サーバー側で過去のグローバルモデルを定期的に平均化することで、FedAvgと比較してフェデレーテッドラーニングの収束が加速するか？
• RQ2 非独立同分布（non-i.i.d.）データ分布下で、サーバー平均化は収束速度とモデル精度にどのように影響するか？
• RQ3 エポック減衰は、計算量を削減しながらも収束性能を維持または向上させることができるか？
• RQ4 サーバー平均化とエポック減衰を組み合わせることで、トレーニング速度と計算コストの間でより良いトレードオフが達成できるか？
• RQ5 収束性と通信効率の観点から、Scaffold や FedProx といった最先端手法と比較して、サーバー平均化の性能はどの程度か？

主な発見

• P=2、R=40のサーバー平均化では、90%の精度に到達するまでのラウンド数がFedAvg（36.40ラウンド）と比較して23%短縮され、28.00ラウンドで達成された。
• 95%の精度では、最良の設定（P=3、R=40）が76.20ラウンドで達成され、FedAvgの85.40ラウンドと比較して11.5%の改善が得られた。
• 全精度閾値において収束が速くなったが、特に90%および95%の精度で顕著な向上が見られた。
• エポック減衰によりクライアントの計算量が最大40%削減され、最良の減衰レート（D=200）では90%精度に到達するまでに27.20ラウンドで達成され、FedAvgと比較して25%の改善が得られた。
• 計算量が削減されても、エポック減衰は競争力のある性能を維持しており、より高い精度閾値に到達するためのラウンド数の増加はわずかであった。
• サーバー平均化とエポック減衰の組み合わせは、収束速度を向上させるとともにクライアントの計算量を削減し、速度とコストの間で有利なトレードオフを実現した。