[論文レビュー] Faster On-Device Training Using New Federated Momentum Algorithm

Zhouyuan Huo, Qian Yang+2 more|arXiv (Cornell University)|Feb 6, 2020

Privacy-Preserving Technologies in Data参考文献 43被引用数 36

ひとこと要約

この論文は非凸問題に対する FedAvg の収束を証明し、収束保証を持つ加速型連邦学習手法 FedMom を導入。シミュレーションでの収束速度が速いことを示す。

ABSTRACT

Mobile crowdsensing has gained significant attention in recent years and has become a critical paradigm for emerging Internet of Things applications. The sensing devices continuously generate a significant quantity of data, which provide tremendous opportunities to develop innovative intelligent applications. To utilize these data to train machine learning models while not compromising user privacy, federated learning has become a promising solution. However, there is little understanding of whether federated learning algorithms are guaranteed to converge. We reconsider model averaging in federated learning and formulate it as a gradient-based method with biased gradients. This novel perspective assists analysis of its convergence rate and provides a new direction for more acceleration. We prove for the first time that the federated averaging algorithm is guaranteed to converge for non-convex problems, without imposing additional assumptions. We further propose a novel accelerated federated learning algorithm and provide a convergence guarantee. Simulated federated learning experiments are conducted to train deep neural networks on benchmark datasets, and experimental results show that our proposed method converges faster than previous approaches.

研究の動機と目的

• プライバシー保護された分散データを用いたデバイス上のトレーニングのためのフェデレーテッド学習を動機づける。
• 制約のあるデータ分布仮定なしで、非凸問題に対する FedAvg の収束解析を提供する。
• サーバー上のモーメントを用いた加速型フェデレーテッド最適化法（FedMom）を提案・解析する。
• ニューラルネットワークを用いたシミュレーション実験を通じて、提案手法の収束が従来手法より速いことを示す。

提案手法

• FedAvg のモデル平均を、偏った勾配を含む勾配ベースの更新として再表現する。
• 標準仮定（有界分散とリプシッツ勾配）下で、非凸問題に対する FedAvg の収束を証明する。
• Nesterov スタイルのモーメントをサーバー上で用いた、収束保証付きの加速フェデレーテッドモーメントアルゴリズム（FedMom）を導出する。
• 以下を定義し、FedMom の更新を解析する。v_{t+1} = w_t - eta * sum_{k in S_t} (n_k/n) (w_t - w_{t+1}^k) および w_{t+1} = v_{t+1} + beta (v_{t+1} - v_t)。
• 勾配ノルムの理論的境界を提供し、収束のための学習率とモーメントの条件を明確にする。

実験結果

リサーチクエスチョン

• RQ1 FedAvg は、制約のあるデータ分布仮定無しで非凸目的関数に対して収束するのか。
• RQ2 FedMom（Federated Momentum）法は、非凸問題に対する収束保証を維持しつつ連邦最適化の収束を加速できるのか。
• RQ3 分子・局所更新回数・モーメントに関する、連邦設定で収束へ到達するための必要条件は何か。
• RQ4 連邦勾配のバイアスは収束にどのような影響を与え、加速はそれを緩和できるのか。

主な発見

• FedAvg は、有界分散とリプシッツ勾配の仮定の下、非凸問題に対して臨界点へ収束することが保証される。
• サーバー側にモーメントを持つ新しい加速型フェデレーテッド学習アルゴリズム（FedMom）を提案し、非凸問題の臨界点へ収束することを示した。
• 指定されたステップサイズとモーメントパラメータの下で臨界点への収束速度の境界を理論的に示し、パラメータ選択についての指針を提供。
• 深層ニューラルネットワークのシミュレートされたフェデレーテッド訓練は、同一条件下で従来のアプローチより提案手法が早く収束することを示している。