[論文レビュー] Cooperative SGD: A unified Framework for the Design and Analysis of Communication-Efficient SGD Algorithms

Jianyu Wang, Gauri Joshi|arXiv (Cornell University)|Aug 22, 2018

Stochastic Gradient Optimization Techniques参考文献 46被引用数 176

ひとこと要約

本論文は、Cooperative SGD、periodic averaging、elastic averaging、および decentralized SGD を包含する統一フレームワークを導入し、非凸目的関数に対する収束保証を提供するとともに、新しい通信効率の SGD 変種の設計を指針とします。

ABSTRACT

Communication-efficient SGD algorithms, which allow nodes to perform local updates and periodically synchronize local models, are highly effective in improving the speed and scalability of distributed SGD. However, a rigorous convergence analysis and comparative study of different communication-reduction strategies remains a largely open problem. This paper presents a unified framework called Cooperative SGD that subsumes existing communication-efficient SGD algorithms such as periodic-averaging, elastic-averaging and decentralized SGD. By analyzing Cooperative SGD, we provide novel convergence guarantees for existing algorithms. Moreover, this framework enables us to design new communication-efficient SGD algorithms that strike the best balance between reducing communication overhead and achieving fast error convergence with low error floor.

研究の動機と目的

• 局所更新と周期的同期を可能にすることで、通信効率の高い分散 SGD を動機づけ、分析する。
• 既存の手法（PASGD、EASGD、D-PSGD）を包含する統一的な収束フレームワークを提供する。
• 通信削減パラメータ（tau、W、v）が収束と誤差床に与える影響を特定する。
• 速度と最終収束誤差のバランスを取るためのパラメータ選択の最良実践を導出する。
• Cooperative SGD フレームワーク内の戦略を組み合わせて新しい変種を提案する。

提案手法

• 局所モデルと v の補助変数を用いて、Cooperative SGD を A(tau, W, v) と定義する。
• 更新式 X_{k+1} = (X_k - eta G_k) W_k を表現し、平均化スケジュール W_k を明確にする。
• PASGD、EASGD、D-PSGD が特定の A(tau, W, v) にどう対応するかを示す。
• 非凸目的関数に対する標準仮定の下で、統一的な収束分析を導出する。
• ネットワーク誤差が tau および W の固有値に依存することを示す閉形式の誤差床境界を提供する。
• EASGD の最適な alpha を分析し、decentralized periodic averaging や generalized elastic averaging のような変種を導入する。

実験結果

リサーチクエスチョン

• RQ1 局所更新期間（tau）とネットワーク混合（W）が cooperative SGD の収束と最終的な誤差床にどう影響するか？
• RQ2 統一フレームワークは非凸目的の下で PASGD、EASGD、D-PSGD を捉え、分析できるか？
• RQ3 誤差床を最小化するための EASGD における最適な弾性パラメータ alpha は何か？
• RQ4 補助変数（v）は実効学習率と収束速度にどう影響するか？
• RQ5 Cooperative SGD 内で同期と平均化戦略を組み合わせると、どんな新しいアルゴリズム設計が生まれるか？

主な発見

• cooperative SGD クラスに対する統一的な収束保証が確立され、tau、W、v が誤差床に与える影響を示す。
• Elastic-averaging SGD は非凸目的に対して分析され、誤差床を最小化する最適な alpha に関する指針を提供する。
• 周期的平均化の精緻な分析は一様に有界な勾配の仮定を削除し、i.i.d. データを持つ FedAvg に適用される。
• このフレームワークは PASGD、EASGD、D-PSGD の定量的比較を可能にし、新しい変種の設計をサポートする。
• decentralized periodic averaging や generalized elastic averaging などの新しい設計は、通信制約下での収束を改善できる。