[論文レビュー] On the Convergence of Local Descent Methods in Federated Learning

Farzin Haddadpour, Mehrdad Mahdavi|arXiv (Cornell University)|Oct 31, 2019

Stochastic Gradient Optimization Techniques参考文献 38被引用数 169

ひとこと要約

本論文は、異質なデータ下での連結学習における周期的平均化を伴う局所GD/SGDの連収束を分析し、収束速度を証明し、勾配多様性の制限が分散削減と線形スピードアップを可能にすることを特定する。中央集権型とネットワーク型の設定を対象とし、非凸およびPL条件付き目的も含む。

ABSTRACT

In federated distributed learning, the goal is to optimize a global training objective defined over distributed devices, where the data shard at each device is sampled from a possibly different distribution (a.k.a., heterogeneous or non i.i.d. data samples). In this paper, we generalize the local stochastic and full gradient descent with periodic averaging-- originally designed for homogeneous distributed optimization, to solve nonconvex optimization problems in federated learning. Although scant research is available on the effectiveness of local SGD in reducing the number of communication rounds in homogeneous setting, its convergence and communication complexity in heterogeneous setting is mostly demonstrated empirically and lacks through theoretical understating. To bridge this gap, we demonstrate that by properly analyzing the effect of unbiased gradients and sampling schema in federated setting, under mild assumptions, the implicit variance reduction feature of local distributed methods generalize to heterogeneous data shards and exhibits the best known convergence rates of homogeneous setting both in general nonconvex and under {\pl}~ condition (generalization of strong-convexity). Our theoretical results complement the recent empirical studies that demonstrate the applicability of local GD/SGD to federated learning. We also specialize the proposed local method for networked distributed optimization. To the best of our knowledge, the obtained convergence rates are the sharpest known to date on the convergence of local decant methods with periodic averaging for solving nonconvex federated optimization in both centralized and networked distributed optimization.

研究の動機と目的

• 異質なデータ分布を伴う通信効率の高い連合最適化の研究を動機づける。
• 局所GD/SGDを周期的平均化で非凸な連邦設定に一般化する。
• 有界な勾配多様性とPL条件の下で収束速度を確立する。
• 中央集権型、分散型（ネットワーク型）、およびサンプリングデバイスの連合設定へ結果を特化する。

提案手法

• 周期的平均化を用いたLocal Federated Descent (LFD) を提案し、E (local updates), K (sampled devices), and q (device weights) でパラメータ化。
• LFDをLocal Federated GD (LFGD) および Local Federated SGD (LFSGD) に、全勾配と確率勾配の設定の両方で特化。
• 勾配多様性 Λ(w,q) を導入して不均一性を定量化し、収束の学習率とEの条件を導出。
• 非凸目的およびPL条件付き非凸目的に対する収束保証を導出。
• デバイスが直接の隣人と通信するネットワーク分散最適化へ解析を拡張。

実験結果

リサーチクエスチョン

• RQ1 局所データシャードの不均一性は、連合学習における周期的平均化を用いた局所降下の収束にどのような影響を与えるのか？
• RQ2 学習率、局所更新回数、サンプリング条件の下で、局所 GD/SGD は非凸FL設定で収束を達成できるのか？
• RQ3 勾配多様性の有界性の下で非凸およびPL条件付き目的の収束速度はどのようになるのか？
• RQ4 ネットワーク型（隣接ノードベース）分散最適化やサンプリングデバイス設定へ結果は拡張可能か？

主な発見

• 勾配多様性の有界性の下で周期的平均化を伴う局所降下は収束を達成し、さまざまなレジームで従来の研究と同等または改善される速度を示す。
• PL条件下の非凸目的について、O(1/(KT)) 依存の改善された速度など、いくつかの前提よりも良い速度を示す。
• 中央集権型（パラメータサーバ）と分散型ネットワークFLの両方、および全勾配と確率勾配設定で収束速度が成立する。
• 勾配多様性に依存して学習率と局所更新の選択が可能で、多様性が制御されると線形スピードアップを実現できる。
• 適切なハイパーパラメータ調整の下で、分散減衰のような振る舞いを、分散減算技術なしに実証しうるという経験的知見と整合する。