[論文レビュー] FedVARP: Tackling the Variance Due to Partial Client Participation in Federated Learning

Divyansh Jhunjhunwala, Pranay Sharma+2 more|arXiv (Cornell University)|Jul 28, 2022

Privacy-Preserving Technologies in Data被引用数 7

ひとこと要約

FedVARP は、非参加クライアントの代わりに各クライアントの最新モデル更新をサーバーで保持・再利用することで、部分的クライアント参加に起因する分散を低減する新しいサーバーサイド集約戦略である。クライアントの追加計算や通信を一切必要とせず、最先端の性能を達成する。また、クライアントをクラスタリングすることで、メモリ使用量を著しく削減する ClusterFedVARP は、同等の結果を達成する。

ABSTRACT

Data-heterogeneous federated learning (FL) systems suffer from two significant sources of convergence error: 1) client drift error caused by performing multiple local optimization steps at clients, and 2) partial client participation error caused by the fact that only a small subset of the edge clients participate in every training round. We find that among these, only the former has received significant attention in the literature. To remedy this, we propose FedVARP, a novel variance reduction algorithm applied at the server that eliminates error due to partial client participation. To do so, the server simply maintains in memory the most recent update for each client and uses these as surrogate updates for the non-participating clients in every round. Further, to alleviate the memory requirement at the server, we propose a novel clustering-based variance reduction algorithm ClusterFedVARP. Unlike previously proposed methods, both FedVARP and ClusterFedVARP do not require additional computation at clients or communication of additional optimization parameters. Through extensive experiments, we show that FedVARP outperforms state-of-the-art methods, and ClusterFedVARP achieves performance comparable to FedVARP with much less memory requirements.

研究の動機と目的

• 部分的クライアント参加によって引き起こされる主な収束誤差を是正すること。これは、クライアントドリフトと比較して、まだ十分に検討されていない。
• クライアント側の学習や通信プロトコルを変更せずに、サーバー側での分散低減機構を設計し、非参加クライアントに起因する誤差を排除すること。
• クラスタリングを用いてメモリ効率を高めた変種を提供し、性能を維持しながらストレージ要件を削減すること。
• 実験的に、部分的クライアント参加が FedAvg における主な誤差要因であり、クライアントドリフトを上回ることを検証すること。

提案手法

• FedVARP は、各クライアントの最新モデル更新をサーバーのメモリに保持し、グローバル集約時に非参加クライアントの代わりにこれらの代替更新を用いる。
• この手法は、非参加クライアントの貢献を効果的に反映するように変更された平均化ルールをサーバーで適用する。
• ClusterFedVARP はクライアントをクラスタに分割し、1クラスタあたり1つの代替更新のみを保持することで、メモリフットプリントを削減する。
• クライアント側のローカル SGD や通信プロトコルに変更を加える必要がなく、既存の FL システムと後方互換性を持つ。
• 理論的分析により、FedVARP が誤差フロアにおける部分的参加の分散項を完全に排除し、収束性が向上することを示した。
• 収束証明のキーコンポーネントとして、期待値の二乗ノルムの差をバウンドするために、ジェンセンの不等式とヤングの不等式が用いられている。

実験結果

リサーチクエスチョン

• RQ1 部分的クライアント参加とクライアントドリフトの両者が、FedAvg における収束誤差に与える相対的寄与度は何か？
• RQ2 サーバーサイドの集約戦略によって、部分的クライアント参加に起因する分散を完全に排除できるか？
• RQ3 大規模な FL システムにおいて、最小限のメモリオーバーヘッドで分散低減を達成する方法は何か？
• RQ4 非参加クライアントの代替更新を保持することで、実際の収束速度が向上し、誤差フロアが低下するか？

主な発見

• 部分的クライアント参加は、滑らかで凸でない関数において、FedAvg における収束誤差の主な要因であり、クライアントドリフトを上回る影響を持つ。
• FedVARP は誤差フロアにおける部分的参加の分散項を完全に排除し、最先端の手法と比較して収束速度が向上する。
• 複数のベンチマークデータセットにおいて、テスト精度と収束速度の両面で、既存のベースラインを上回る性能を発揮する。
• ClusterFedVARP は、FedVARP と同等の性能を達成しながら、クラスタ数に比例する割合でメモリ使用量を削減する。
• 理論的分析により、勾配差の期待値の二乗ノルムが、確率的ノイズとクライアントドリフトを含む項によってバウンドされ、その中で部分的参加の項が支配的であることが確認された。
• 実験結果から、特にクライアント参加率の分散が高い設定では、FedVARP を用いることで誤差フロアが顕著に低減することが示された。