[論文レビュー] Accelerating Federated Learning via Momentum Gradient Descent

Wei Liu, Li Chen+2 more|arXiv (Cornell University)|Oct 8, 2019

Privacy-Preserving Technologies in Data参考文献 32被引用数 11

ひとこと要約

本稿では、動的勾配降下法（MGD）をフェデレーテッドラーニング（FL）のローカル更新フェーズに統合することで収束を加速する、モーメンタムフェデレーテッドラーニング（MFL）を提案する。歴史的勾配を活用することで、MFLは標準的なフェデレーテッドラーニング（FL）よりも高速にグローバル収束を達成し、理論的分析とMNISTを用いた実験により、特にモーメンタム係数γ ≈ 0.9で、かつ集約周波数τを適切に調整した場合に顕著な改善が確認された。

ABSTRACT

Federated learning (FL) provides a communication-efficient approach to solve machine learning problems concerning distributed data, without sending raw data to a central server. However, existing works on FL only utilize first-order gradient descent (GD) and do not consider the preceding iterations to gradient update which can potentially accelerate convergence. In this paper, we consider momentum term which relates to the last iteration. The proposed momentum federated learning (MFL) uses momentum gradient descent (MGD) in the local update step of FL system. We establish global convergence properties of MFL and derive an upper bound on MFL convergence rate. Comparing the upper bounds on MFL and FL convergence rate, we provide conditions in which MFL accelerates the convergence. For different machine learning models, the convergence performance of MFL is evaluated based on experiments with MNIST dataset. Simulation results comfirm that MFL is globally convergent and further reveal significant convergence improvement over FL.

研究の動機と目的

• ローカル反復を活用しない1次勾配降下法に依存する標準的なフェデレーテッドラーニング（FL）の収束が遅いという問題に取り組む。
• ローカル学習プロセスにモーメンタムを組み込むことで、分散機械学習における通信効率と収束速度を向上させる。
• 現実的なFLシステム環境下で、提案されたMFLフレームワークの理論的収束保証を確立する。
• MNISTデータセットを用いた実験を通じて、MFLがFLに比べて収束速度と最終モデル精度の両面で優れていることを実証的に検証する。

提案手法

• フェデレーテッドラーニングのローカル更新ステップにモーメンタム勾配降下法（MGD）を導入し、各クライアントが直前の勾配方向に基づくモーメンタム項を用いる。
• MFLの収束速度に対する理論的上界を導出し、特定の条件下でグローバル最適解への線形収束が達成されることを示す。
• ローカルモデル更新とモーメンタム項γを組み合わせる修正された更新ルールを提案し、γが過去の勾配の影響を制御する。
• 集約周波数τと学習率ηの変動に対する収束挙動を分析し、最適なパラメータ範囲を同定する。
• クライアントが毎τ回のローカルステップごとにモデルパラメータをサーバに送信するグローバル集約戦略を採用し、通信効率を維持する。
• SVM、ロジスティック回帰、線形回帰の3つのモデルを用いてMNISTデータセットを用いて手法を検証し、反復回ごとの損失と精度を追跡する。

実験結果

リサーチクエスチョン

• RQ1 モーメンタム勾配降下法は、標準的な勾配降下法と比較してフェデレーテッドラーニングの収束速度を向上させることができるか？
• RQ2 提案されたMFL手法は、標準的なFLと比較して、どのような条件下で加速収束を達成するか？
• RQ3 ハイパーパrameter γ（モーメンタム係数）と τ（集約周波数）は、MFLにおける収束速度と最終モデルパフォーマンスにどのように影響を与えるか？
• RQ4 MFLの収束速度に対する理論的上界は何か？ そして、FLと比較してどのように異なるか？
• RQ5 非i.i.d.データおよび限られた通信条件下でも、MFLは高速な収束を達成しながらグローバル収束を維持できるか？

主な発見

• MFLは、MNISTデータセット上での全テストモデル（SVM、ロジスティック回帰、線形回帰）において、標準的なFLよりも収束が速く、損失関数曲線がより急激に低下することが確認された。
• γ ≈ 0.9のとき、MFLは最適な収束速度に達し、γを0.95を超えて増加させると性能が劣化し、発散する可能性が生じる。
• τ < 100の範囲では集約周波数の影響が最小限に抑えられるが、τ > 100になると収束が著しく劣化し、通信コストとパフォーマンスのトレードオフが顕著に現れる。
• 0 < γ < 1の範囲で、MFLの最終損失値は常にFLよりも低く、最適化効率の向上が確認された。
• 理論的上界は、与えられた仮定のもとでMFLがグローバル最適解への線形収束を達成することを示し、条件 2(1−βη)cosθ / (βηp²) > 1 を満たすと収束が加速される。
• シミュレーション結果は、MFLがグローバルに収束することを確認し、特に中程度のτと最適なγの下で、FLおよび集中型MGDに比べて収束速度が優れていることを示した。