[論文レビュー] FedCM: Federated Learning with Client-level Momentum

Jing Xu, Sen Wang+2 more|arXiv (Cornell University)|Jun 21, 2021

Privacy-Preserving Technologies in Data参考文献 39被引用数 23

ひとこと要約

FedCM は、以前のラウンドからのグローバル勾配情報の集約を通じてクライアントレベルのモーメンタムを導入する、新しいフェデレーテッドラーニングアルゴリズムである。これにより、トレーニングの安定性が向上し、クライアントドリフトが低減する。部分的参加とクライアント非均質性の下でも収束性と耐性が向上し、CIFAR-10 および CIFAR-100 ベンチマークにおいて、さまざまな参加率とデータ非 i.i.d. 水準の下で、精度と安定性の面で FedAvg や他のベースラインを上回る。

ABSTRACT

Federated Learning is a distributed machine learning approach which enables model training without data sharing. In this paper, we propose a new federated learning algorithm, Federated Averaging with Client-level Momentum (FedCM), to tackle problems of partial participation and client heterogeneity in real-world federated learning applications. FedCM aggregates global gradient information in previous communication rounds and modifies client gradient descent with a momentum-like term, which can effectively correct the bias and improve the stability of local SGD. We provide theoretical analysis to highlight the benefits of FedCM. We also perform extensive empirical studies and demonstrate that FedCM achieves superior performance in various tasks and is robust to different levels of client numbers, participation rate and client heterogeneity.

研究の動機と目的

• 1 ラウンドあたり少数のクライアントのみが参加するクロスデバイスフェデレーテッドラーニングにおけるクライアント非均質性と部分的参加の課題に対処すること。
• フェデレーテッドSGDにおける非 i.i.d. データ分布と不安定なローカル更新によって引き起こされるクライアントドリフトを低減すること。
• 通信ラウンド間でクライアントがローカル状態を保存または維持する必要がないように、収束性とモデル性能を向上させること。
• グローバル勾配履歴を活用してローカルクライアント更新をガイドするモーメンタムベースの手法を開発し、耐性と安定性を向上させること。
• クライアント側のストレージと通信オーバーヘッドを最小限に抑えることで、実世界のフェデレーテッドラーニングシステムとの互換性を確保すること。

提案手法

• 以前の通信ラウンドからのグローバル勾配情報の集約を通じて、クライアントレベルのモーメンタム項を導入する。
• サーバーで維持されるモーメンタムベクトル（歴史的グローバル勾配を反映）とローカル勾配を組み合わせることで、ローカルSGD更新を変更する。
• サーバーがラウンドを跨いでグローバル勾配の累積平均を維持するモーメンタム更新ルールを用いる。この平均はクライアントの更新を補正するために使用される。
• 標準的なクライアント更新をモーメンタム補正付きのローカル降下ステップに置き換えることで、FedAvgフレームワークにモーメンタム機構を統合する。
• 各ラウンドでグローバルモデル勾配を用いてモーメンタム項を更新し、クライアントがローカル更新をグローバル最適化方向に一致させられるようにする。
• クライアントがラウンド間で状態を保存または維持する必要がないようにアルゴリズムを設計することで、メモリコストを低減し、スケーラビリティを向上させる。

実験結果

リサーチクエスチョン

• RQ1 歴史的グローバル勾配に基づくモーメンタム機構は、部分的クライアント参加下でのフェデレーテッドラーニングの収束性と安定性を向上させることができるか？
• RQ2 データ非均質性によるクライアントドリフトを緩和する観点で、クライアントレベルのモーメンタムはサーバーレベルまたはクライアント単独のモーメンタムと比べてどのように優れているか？
• RQ3 参加率が著しく低下した場合（例：1 ラウンドあたり 2% または 10% のクライアント）、FedCM は高い性能を維持できるか？
• RQ4 適応的メソッド（例：FedAdam）と比較して、FedCM はトレーニング曲線の振動と不安定性をどの程度低減できるか？
• RQ5 ハイパーパrameter選定（例：モーメンタム係数）が、非 i.i.d. および低参加率環境下での収束性と最終精度に与える影響はどの程度か？

主な発見

• FedCM は、CIFAR-10 および CIFAR-100 データセットにおいて、さまざまな非 i.i.d. 水準と低参加率設定下で、FedAvg、FedAdam、FedDyn よりも優れたテスト精度を達成する。
• 500デバイス、2%参加率の設定下で、FedCM はベースラインとの間で顕著な性能差を示し、低参加率下でも耐性があることを示している。
• 収束曲線において、FedCM は FedAdam よりもより安定しており、特に高いデータ非均質性（Dirichlet α=0.6）下で振動が低減している。
• FedCM は、クライアントがラウンド間でローカル状態を保存・更新する必要がないため、制御変数を用いる FedCM や FedDyn とは異なり、高い性能を維持する。
• アルゴリズムは、強凸関数、一般凸関数、非凸関数の最良理論的境界に相当する収束速度を達成する。
• ハイパーパrameterチューニングの結果、FedCM において α=0.05 または 0.1 が、さまざまなデバイス数と参加率レベルで一貫した改善をもたらすことが判明した。