[論文レビュー] Asynchronous Decentralized SGD with Quantized and Local Updates

Giorgi Nadiradze, Amirmojtaba Sabour+3 more|arXiv (Cornell University)|Oct 27, 2019

Stochastic Gradient Optimization Techniques被引用数 23

ひとこと要約

本稿では、非同期ガスケットモデルにおいて量子化通信、局所ステップ、ブロッキングのない更新をサポートする非同期分散SGDアルゴリズム「SwarmSGD」を提案する。本手法は非均一なデータおよびトポロジにおいて収束を示し、エンドツーエンドの学習性能が優れており、大バッチSGDと同等の性能を発揮する一方で通信コストを顕著に削減する。

ABSTRACT

Decentralized optimization is emerging as a viable alternative for scalable distributed machine learning, but also introduces new challenges in terms of synchronization costs. To this end, several communication-reduction techniques, such as non-blocking communication, quantization, and local steps, have been explored in the decentralized setting. Due to the complexity of analyzing optimization in such a relaxed setting, this line of work often assumes \emph{global} communication rounds, which require additional synchronization. In this paper, we consider decentralized optimization in the simpler, but harder to analyze, \emph{asynchronous gossip} model, in which communication occurs in discrete, randomly chosen pairings among nodes. Perhaps surprisingly, we show that a variant of SGD called \emph{SwarmSGD} still converges in this setting, even if \emph{non-blocking communication}, \emph{quantization}, and \emph{local steps} are all applied \emph{in conjunction}, and even if the node data distributions and underlying graph topology are both \emph{heterogenous}. Our analysis is based on a new connection with multi-dimensional load-balancing processes. We implement this algorithm and deploy it in a super-computing environment, showing that it can outperform previous decentralized methods in terms of end-to-end training time, and that it can even rival carefully-tuned large-batch SGD for certain tasks.

研究の動機と目的

• 非同期設定下で量子化、局所ステップ、ブロッキングのない通信をサポートする分散SGDアルゴリズムの設計。
• 非均一なデータ分布およびグラフトポロジの下でそのような手法の収束を証明すること。
• 従来の分散手法でスケーラビリティを制限するグローバルな同期ラウンドの必要性を排除すること。
• 既存の分散および大バッチSGDアプローチよりも優れたエンドツーエンドの学習効率を達成すること。

提案手法

• 各ノードが共有通信バッファを保持し、量子化されたモデル更新を格納することで、ブロッキングのない同時書き込みと読み取りを可能にする。
• 各ノードは通信前にH回の局所勾配ステップを実行し、通信頻度と同期オーバーヘッドを低減する。
• ノードはランダムな隣接ノードと非同期にペairし、相手のバッファから量子化されたモデルを読み込み、平均化し、その平均値を相手のバッファに再書き込みする。
• 局所モデルは平均化・量子化されたモデルを使用して更新され、その後新しいモデルがノード自身のバッファに量子化されて書き込まれる。
• 本手法はアトミックな読み取り・書き込み操作と、収束を量子化ノイズですら保証する特定の量子化スキームに依存する。
• 本手法は、アルゴリズムを多次元の負荷分散プロセスに結びつける独自の理論的分析により、非同期性および量子化下での収束を確立する。

実験結果

リサーチクエスチョン

• RQ1 量子化、局所ステップ、ブロッキングのない通信を備えた分散SGDが、完全に非同期なガスケットモデルで収束するか。
• RQ2 そのような手法の収束特性がデータの非均一性およびネットワークトポロジにどのように依存するか。
• RQ3 提案手法が同期的または部分的に同期的な分散手法よりも優れたエンドツーエンドの学習パフォーマンスを達成できるか。
• RQ4 通信頻度および量子化が学習速度とモデル精度に与える影響は何か。

主な発見

• SwarmSGDは、同時に非同期的かつブロッキングのない通信、量子化、局所ステップが行われるガスケットモデルでも収束を達成する。
• D-PSGDおよびSGPと比較して通信コストを最大50％まで削減し、ノード数の増加に対しても通信時間は一定を保つ。
• ResNet18/ImageNetにおいて、SwarmSGDは大バッチSGDと1％以内の誤差で同等の精度を達成しながら、エンドツーエンドの学習時間を短縮する。
• CIFAR-10では、量子化されたバージョンのSwarmSGDが0.3％未満のTop-1精度の低下で約10％の高速化を実現する。
• 256ノードでも収束性と精度を維持するなど、優れたスケーラビリティを示す。
• 収束はモデルあたりのエポック数に強く相関しており、局所ステップ数の影響は弱い。