[論文レビュー] Stochastic Gradient Push for Distributed Deep Learning

Mahmoud Assran, Nicolas Loizou+2 more|arXiv (Cornell University)|Nov 27, 2018

Stochastic Gradient Optimization Techniques被引用数 137

ひとこと要約

本論文は Stochastic Gradient Push (SGP) を提案する。PushSum ガッシングと確率的勾配更新を組み合わせた分散深層学習で、収束を定常点とノードの合意へ導くことを証明し、大規模ビジョンおよび翻訳タスクで経験的検証を行う。

ABSTRACT

Distributed data-parallel algorithms aim to accelerate the training of deep neural networks by parallelizing the computation of large mini-batch gradient updates across multiple nodes. Approaches that synchronize nodes using exact distributed averaging (e.g., via AllReduce) are sensitive to stragglers and communication delays. The PushSum gossip algorithm is robust to these issues, but only performs approximate distributed averaging. This paper studies Stochastic Gradient Push (SGP), which combines PushSum with stochastic gradient updates. We prove that SGP converges to a stationary point of smooth, non-convex objectives at the same sub-linear rate as SGD, and that all nodes achieve consensus. We empirically validate the performance of SGP on image classification (ResNet-50, ImageNet) and machine translation (Transformer, WMT'16 En-De) workloads. Our code will be made publicly available.

研究の動機と目的

• ストラグラーと遅延の下での同期的方法における正確な分散平均化の非効率性を解消する。
• 分散最適化アルゴリズムを開発し、確率的勾配更新を行いながら合意を達成する。
• 非凸設定における定常点への収束とサブ線形収束速度の理論的保証を提供する。
• 大規模なコンピュータビジョンおよび自然言語処理のワークロードで実用的な有効性を示す。

提案手法

• PushSum ベースのガッシングと確率的勾配更新を統合して Stochastic Gradient Push (SGP) アルゴリズムを形成する。
• 遅延対応のミキシング行列を用いてネットワークをモデル化し、通信遅延と仮想ノードを考慮する。
• Augmented matrices と遅延ノードを横断するデバイアスのないパラメータ追跡のグローバルな見方を提供する。
• 滑らかな非凸目的関数の定常点への収束と、すべてのノードの合意をサブ線形速度で証明する。
• ImageNet の ResNet-50 および WMT’16 En-De ワークロードに対する Transformer の経験的検証を行う。

実験結果

リサーチクエスチョン

• RQ1 遅延がある状況で Stochastic Gradient Push は確率的勾配更新を行いながら分散ノード間の合意を達成できるか？
• RQ2 SGP は標準の SGD や完全同期法と比較して非凸目的に対する収束保証はどのようになるか？
• RQ3 PushSum の通信遅延耐性は、分散深層学習設定で確率的勾配と組み合わせても保持されるか？
• RQ4 現実のベンチマーク（ビジョンと翻訳タスク）は既存の非同期・同期分散法と比較して競争力のある性能を示すか？

主な発見

• SGP は滑らかな非凸目的関数の定常点へサブ線形速度で収束する。
• 提案された遅延対応の拡張フレームワークの下で、すべてのノードが合意を達成する。
• 画像分類（ResNet-50/ImageNet）および機械翻訳（Transformer/WMT'16 En-De）ワークロードでの効果を実証的に検証する。