[論文レビュー] On the Convergence of Federated Averaging with Cyclic Client Participation

Yae Jee Cho, Pranay Sharma+4 more|arXiv (Cornell University)|Feb 6, 2023

Privacy-Preserving Technologies in Data被引用数 7

ひとこと要約

本論文は、バッテリーおよびネットワーク制限などの実用的制約により、繰り返しパターンで参加するクライアントを想定した、フェデレーテッド・アveraging（FedAvg）の最初の理論的分析を提示する。適切な条件下では、周期的参加は一様サンプリングよりも高速な漸近的収束レートを達成でき、実世界のフェデレーテッド・ラーニングシステムにおける効率的なクライアントサンプリングプロトコルの設計に新たな知見を提供する。

ABSTRACT

Federated Averaging (FedAvg) and its variants are the most popular optimization algorithms in federated learning (FL). Previous convergence analyses of FedAvg either assume full client participation or partial client participation where the clients can be uniformly sampled. However, in practical cross-device FL systems, only a subset of clients that satisfy local criteria such as battery status, network connectivity, and maximum participation frequency requirements (to ensure privacy) are available for training at a given time. As a result, client availability follows a natural cyclic pattern. We provide (to our knowledge) the first theoretical framework to analyze the convergence of FedAvg with cyclic client participation with several different client optimizers such as GD, SGD, and shuffled SGD. Our analysis discovers that cyclic client participation can achieve a faster asymptotic convergence rate than vanilla FedAvg with uniform client participation under suitable conditions, providing valuable insights into the design of client sampling protocols.

研究の動機と目的

• 現実的なクライアント参加パターン、特に周期的可用性の下でのFedAvgの理論的収束分析におけるギャップを埋める。
• デバイスレベルの制約（バッテリー状態やネットワーク状態など）によって引き起こされる周期的クライアント参加の影響をモデル化・分析する。
• 周期的 vs. 一様クライアントサンプリングの下でのFedAvgの収束行動を比較する、特に異なるクライアント最適化手法（GD、SGD、シャッフルSGD）を対象とする。
• 実際の運用において周期的参加が一様サンプリングを上回る理由を理論的に裏付ける。

提案手法

• 著者らは、クライアントの可用性を周期的シーケンスとしてモデル化することで、周期的クライアント参加下でのFedAvg収束を分析する理論的フレームワークを構築した。
• 勾配降下法（GD）、確率的勾配降下法（SGD）、シャッフルSGDを含む、異なるクライアント最適化手法を用いたFedAvgの収束バウンドを導出した。
• 理論的厳密性を保つために、クライアントのデータ分布、損失関数の滑らかさ、勾配の有界性に関する仮定を組み込んだ。
• 非i.i.d.データに対応し、ラウンドごとのクライアント参加頻度の違いを許容するフレームワークを構築した。
• 時間経過に伴うグローバル目的関数の期待値の減少を分析することで、収束レートを導出した。
• 理論的結果は、一様サンプリングとの比較を通じて検証され、周期的参加がより高速な収束をもたらす条件が明確にされた。

実験結果

リサーチクエスチョン

• RQ1 周期的クライアント参加を伴うFedAvgは、一様クライアント参加を伴うFedAvgよりも高速な収束を達成できるか？
• RQ2 クライアント最適化手法（GD、SGD、シャッフルSGD）の選択が、周期的参加下での収束に与える影響は何か？
• RQ3 どのような条件下で、周期的クライアント参加が一様サンプリングよりも優れた漸近的収束レートを達成するか？
• RQ4 クライアントの可用性が周期的で非一様なパターンに従う場合に、FedAvgに対してどのような理論的保証を提供できるか？

主な発見

• 適切な条件下（好都合なデータ分布、勾配の有界性など）では、周期的クライアント参加は一様クライアント参加よりも高速な漸近的収束レートを達成できる。
• 特に、クライアント更新の分散を低減するシャッフルSGDを用いる場合、収束レートの向上が顕著に現れる。
• 理論的フレームワークは、周期的クライアント可用性が収束を本質的に劣化させないことを示し、サイクルがデータ多様性と整合する場合には収束を向上させることすら可能である。
• 分析により、収束レートはクライアント参加頻度、データ非同一性、最適化手法の選択との相互作用に依存することが明らかになった。
• GDおよびSGDの場合、サイクル長がクライアント間のデータ分布パターンと一致する場合には、周期的参加が一様サンプリングを上回る。
• 結果から、クライアントサンプリングプロトコルはi.i.d.または一様サンプリングを仮定するのではなく、周期的パターンを活用すべきであると示唆される。