[論文レビュー] SPARQ-SGD: Event-Triggered and Compressed Communication in Decentralized Stochastic Optimization

Navjot Singh, Deepesh Data+2 more|arXiv (Cornell University)|Oct 31, 2019

Stochastic Gradient Optimization Techniques参考文献 32被引用数 13

ひとこと要約

SPARQ-SGD は、分散型確率的最適化のためのイベント駆動型で圧縮された通信フレームワークを提案する。ノードは、少なくとも H 回の局所ステップを経て、パrameter に顕著な変化が生じた場合にのみ、量子化およびスパース化されたモデル更新を送信する。本手法は、強凸関数に対して $O(1/nT)$、非凸関数に対して $O(1/\sqrt{nT})$ の収束レートを達成し、圧縮とイベント駆動型通信が収束性能を低下させないことを証明した。これにより、通信効率を向上させつつ性能の損失なしに運用可能である。

ABSTRACT

In this paper, we propose and analyze SPARQ-SGD, which is an event-triggered and compressed algorithm for decentralized training of large-scale machine learning models. Each node can locally compute a condition (event) which triggers a communication where quantized and sparsified local model parameters are sent. In SPARQ-SGD each node takes at least a fixed number ($H$) of local gradient steps and then checks if the model parameters have significantly changed compared to its last update; it communicates further compressed model parameters only when there is a significant change, as specified by a (design) criterion. We prove that the SPARQ-SGD converges as $O(\frac{1}{nT})$ and $O(\frac{1}{\sqrt{nT}})$ in the strongly-convex and non-convex settings, respectively, demonstrating that such aggressive compression, including event-triggered communication, model sparsification and quantization does not affect the overall convergence rate as compared to uncompressed decentralized training; thereby theoretically yielding communication efficiency for "free". We evaluate SPARQ-SGD over real datasets to demonstrate significant amount of savings in communication over the state-of-the-art.

研究の動機と目的

• イベント駆動型通信とモデル圧縮を組み合わせることで、分散型機械学習における高い通信コストを低減すること。
• 収束速度を損なわせることなく、分散学習における冗長な通信を削減すること。
• イベント駆動型で圧縮された分散型 SGD アルゴリズムの収束挙動を理論的に分析すること。
• 実世界のデータセットにおいて、最先端の手法と比較して顕著な通信コストの削減を実証すること。

提案手法

• 各ノードは、前回の通信以降に顕著なパラメータ変化が生じるまで、少なくとも H 回の局所勾配ステップを実行する。
• 局所的なトリガー条件が通信の有無を決定し、変化が事前に定義されたしきい値を超えた場合にのみ通信が行われる。
• トリガーが発動すると、ノードはスパース化（上位 k 項目）と量子化（離散化された値）を用いてモデルパラメータの圧縮版を送信する。
• 本アルゴリズムは、イベント駆動型通信とモデル圧縮を統合し、従来の分散環境での研究を、分散型グラフに拡張している。
• 勾配とノイズに関する標準的な仮定の下で、強凸関数および滑らかな非凸関数の両方の目的関数に対して収束解析を実施している。
• リャプノフ型解析を用いて理論的バウンドを導出し、通信圧縮とイベントトリガーが漸近的収束レートに影響を及ぼさないことを示している。

実験結果

リサーチクエスチョン

• RQ1 イベント駆動型通信と圧縮を組み合わせることで、元の非圧縮分散型 SGD と同等の収束レートを維持できるか？
• RQ2 スパース化、量子化、イベントトリガーの組み合わせが、分散最適化における収束に与える影響は何か？
• RQ3 SPARQ-SGD は、既存の圧縮通信や低頻度通信手法と比較して、理論的にどの程度の通信効率の向上を達成できるか？
• RQ4 確率的勾配を用いる非凸関数の下でも、本アルゴリズムは収束保証を維持できるか？
• RQ5 実際のネットワーク規模や通信制約の下で、SPARQ-SGD の性能はどのようにスケーリングするか？

主な発見

• 強凸関数の設定では、SPARQ-SGD は $O(1/nT)$ の収束レートを達成し、非圧縮分散型 SGD と同等の速度を示した。
• 非凸関数の設定では、$O(1/\sqrt{nT})$ の収束速度を達成した。これは、過酷な圧縮とイベントトリガーが収束性能を低下させないことを確認した。
• 理論的解析により、通信圧縮とイベントトリガーが収束ペナルティを引き起こさないことが示され、『通信効率を無料で得られる』状況を実現した。
• 実データセットを用いた実験的評価により、最先端の手法と比較して顕著な通信コストの削減が確認された。
• トリガー条件が適切に設計されていれば、量子化とスパース化があっても収束が維持されることを確認した。
• 確率的勾配の下でも、ノイズや非 i.i.d. データに対して本アルゴリズムの性能は頑健であり、収束バウンドによってその妥当性が裏付けられた。