[論文レビュー] Periodic Stochastic Gradient Descent with Momentum for Decentralized Training

Hongchang Gao, Heng Huang|arXiv (Cornell University)|Aug 24, 2020

Stochastic Gradient Optimization Techniques参考文献 21被引用数 9

ひとこと要約

本稿では、周期的通信を組み合わせた分散型モーメンタムSGD（PD-SGDM）と、通信効率を高めた変種であるCPD-SGDMを提案し、収束における線形スケーリングを達成する。理論的分析により、トポロジー、モーメンタム、通信頻度に関する特定の条件下で線形スケーリングが達成可能であることが証明されており、この分野で初めてそのような結果を確立した論文である。

ABSTRACT

Decentralized training has been actively studied in recent years. Although a wide variety of methods have been proposed, yet the decentralized momentum SGD method is still underexplored. In this paper, we propose a novel periodic decentralized momentum SGD method, which employs the momentum schema and periodic communication for decentralized training. With these two strategies, as well as the topology of the decentralized training system, the theoretical convergence analysis of our proposed method is difficult. We address this challenging problem and provide the condition under which our proposed method can achieve the linear speedup regarding the number of workers. Furthermore, we also introduce a communication-efficient variant to reduce the communication cost in each communication round. The condition for achieving the linear speedup is also provided for this variant. To the best of our knowledge, these two methods are all the first ones achieving these theoretical results in their corresponding domain. We conduct extensive experiments to verify the performance of our proposed two methods, and both of them have shown superior performance over existing methods.

研究の動機と目的

• 非凸最適化における分散型モーメンタムSGDの理論的理解の不足と実用的効率性の欠如に取り組む。
• 収束速度を維持したまま分散学習における通信オーバーヘッドを低減する。
• 周期的分散型モーメンタムSGDが、ワーカー数に関して線形スケーリングを達成するための理論的条件を確立する。
• 収束保証を損なわずに、周期的通信中にモデルパラメータを圧縮する通信効率の高い変種を設計する。
• 提案手法が既存の分散学習手法を上回ることを実験的に検証する。

提案手法

• 局所的更新にモーメンタムを適用し、p反復に1回のみ通信を行う周期的分散型モーメンタムSGD（PD-SGDM）を提案。
• CPD-SGDMでは通信ごとにパラメータ圧縮を行う圧縮演算子を導入し、ワーカー間での効率的なパラメータ交換を実現。
• 分散ネットワーク全体でのモデルパラメータ集約に、重み付き平均化方式と混合行列Wを用いる。
• 収縮写像とフロベニウスノルム解析を用いて理論的収束バウンドを導出し、モーメンタム、トポロジー、通信頻度の影響を分析。
• リャプノフ関数を用いたアプローチにより、局所モデルとグローバルモデル間の距離の減少を分析し、特定のパrameter条件の下での収束を証明。
• 線形スケーリングの収束速度を保証するための学習率、モーメンタム、圧縮比、ネットワークトポロジーに関する条件を確立。

実験結果

リサーチクエスチョン

• RQ1 周期的分散型モーメンタムSGDが、ワーカー数に関して線形スケーリングを達成できる条件は何か？
• RQ2 周期的通信を伴う分散学習におけるモーメンタムの導入が収束挙動に与える影響は何か？
• RQ3 周期的分散型モーメンタムSGDに通信圧縮を統合しても、収束性能が劣化しないか？
• RQ4 ネットワークトポロジーおよび混合行列の性質が、提案手法の収束速度に与える理論的影響は何か？
• RQ5 モーメンタム、周期的通信、圧縮の相互作用が、全体の収束性および通信効率にどのように影響を与えるか？

主な発見

• PD-SGDMは、学習率、モーメンタム、ネットワークトポロジーに関する特定の条件下で、ワーカー数に関して線形スケーリングの収束速度を達成する。
• 理論的分析により、周期的通信とモーメンタムを組み合わせた場合でも線形スケーリングが達成可能であることが証明され、本分野で初めての結果である。
• CPD-SGDMは、パラメータ圧縮により通信コストを削減しながら線形スケーリングを達成し、収束条件が明示的に導出された。
• 両手法の収束速度は混合行列Wの固有値特性および圧縮比に依存し、リャプノフ解析によりより厳密なバウンドが確立された。
• 実験的評価では、収束速度および最終的なモデル精度の両面で、PD-SGDMおよびCPD-SGDMが既存の分散学習手法を上回ることが示された。
• 理論的バウンドは実験的にも検証され、導出された条件下で収束速度がワーカー数に比例して向上することが確認された。