[論文レビュー] Federated Accelerated Stochastic Gradient Descent

Honglin Yuan, Tengyu Ma|arXiv (Cornell University)|Jun 16, 2020

Stochastic Gradient Optimization Techniques参考文献 55被引用数 22

ひとこと要約

本稿では、分散凸最適化における収束速度と通信効率を向上させる、Federated Averaging (FedAvg) の証明可能に加速された変種である Federated Accelerated Stochastic Gradient Descent (FedAc) を提案する。新たなポテンシャルに基づく摂動反復解析を導入し、加速と安定性を巧みにバランスさせることで、FedAvg における O(M) の同期ラウンドを、強い凸設定下で O(M^{1/3}) に削減し、より少ない通信ラウンドで高速収束を達成する。

ABSTRACT

We propose Federated Accelerated Stochastic Gradient Descent (FedAc), a principled acceleration of Federated Averaging (FedAvg, also known as Local SGD) for distributed optimization. FedAc is the first provable acceleration of FedAvg that improves convergence speed and communication efficiency on various types of convex functions. For example, for strongly convex and smooth functions, when using $M$ workers, the previous state-of-the-art FedAvg analysis can achieve a linear speedup in $M$ if given $M$ rounds of synchronization, whereas FedAc only requires $M^{\frac{1}{3}}$ rounds. Moreover, we prove stronger guarantees for FedAc when the objectives are third-order smooth. Our technique is based on a potential-based perturbed iterate analysis, a novel stability analysis of generalized accelerated SGD, and a strategic tradeoff between acceleration and stability.

研究の動機と目的

• 分散機械学習における通信ボトルneckを軽減するため、FedAvg の加速を目的とする。
• 分散環境下での加速（モーメンタムを用いたもの）と安定性の間にある本質的対立を解消する。
• 収束が保証され、通信効率の高いアルゴリズムを構築し、FedAvg よりも高速に収束することを目的とする。
• 二次的関数にとどまらず、一般および強い凸関数に対しても加速を拡張し、通信効率を向上させることを目的とする。

提案手法

• FedAc は、M 個のワーカーを有するフェデレーテッド環境に適応した一般化された加速 SGD フレームワークを導入する。
• 各ワーカーの局所反復の発散を制御するため、ポテンシャルに基づく摂動反復解析を採用する。
• 制御された摂動機構を導入することで、モーメンタムによる加速と安定性の間を戦略的にバランスさせる。
• 加速された SGD 変種のための新規な安定性解析を用い、希な同期にもかかわらず、グローバル最適解からの偏差が有界であることを保証する。
• アルゴリズムは、モーメンタムを用いた局所更新を維持しながら、すべての M 個のワーカー間で定期的に平均化することで同期を行う。
• 標準的な仮定（滑らかさ、分散の有界性、強い凸性）の下で収束バウンドを導出する（仮定 1）。

実験結果

リサーチクエスチョン

• RQ1 通信ボトルneckを解消するため、安定性を損なわずに、分散凸最適化における FedAvg を証明可能に加速できるか？
• RQ2 加速手法を用いた場合、M 個のワーカーで線形スケーリングを達成するために必要な最小の同期ラウンド数は何か？
• RQ3 三階微分の滑らかさが、加速されたフェデレーテッドアルゴリズムの収束性と安定性に与える影響は何か？
• RQ4 加速と安定性のトレードオフを形式化し、通信効率の向上に活用できるか？
• RQ5 FedAc は、収束速度と通信コストの両面で、FedAvg や標準的なミニバッチ SGD より優れているか？

主な発見

• 強い凸かつ滑らかな関数に対して、FedAc は M における線形スケーリングを達成し、同期ラウンド数を O(M^{1/3}) にまで削減する。これは、FedAvg の O(M) に比べ顕著な改善である。
• 標準的な仮定の下で、FedAc は収束速度 Õ(1/(MT) + 1/(TR^3)) を達成する。R が小さいとき、これは FedAvg の Õ(1/(MT) + 1/(TR)) よりも優れている。
• 目的関数が三階微分可能である場合、FedAc はより強い収束保証を提供し、高階の滑らかさを活用してバウンドをタイトにする。
• 標準的な Nesterov 加速 SGD とは異なり、モーメンタムに基づく加速に対しても、FedAc は安定性を維持する。初期値の摂動に対しても不安定になることはない。
• 一般凸ケースにおいて、FedAc は FedAvg やミニバッチ SGD のベースラインと比較して、より優れた通信効率を達成する。
• 理論的解析により、FedAc が加速を可能にしつつも安定性を維持していることが確認され、フェデレーテッド最適化における主要な課題を解決している。