[論文レビュー] Can Decentralized Algorithms Outperform Centralized Algorithms? A Case Study for Decentralized Parallel Stochastic Gradient Descent

Xiangru Lian, Ce Zhang+4 more|arXiv (Cornell University)|May 25, 2017

Stochastic Gradient Optimization Techniques参考文献 40被引用数 406

ひとこと要約

本論文は分散型並列 SGD（D-PSGD）を分析し、混雑ノードでの通信を抑えつつ類似した収束性を達成できることを示し、低帯域幅や高遅延ネットワークにおいて中央集権的な PSGD（C-PSGD）を上回る可能性があることを示唆する。実証結果は特定の設定で最大で約10倍のスピードアップを検証している。

ABSTRACT

Most distributed machine learning systems nowadays, including TensorFlow and CNTK, are built in a centralized fashion. One bottleneck of centralized algorithms lies on high communication cost on the central node. Motivated by this, we ask, can decentralized algorithms be faster than its centralized counterpart? Although decentralized PSGD (D-PSGD) algorithms have been studied by the control community, existing analysis and theory do not show any advantage over centralized PSGD (C-PSGD) algorithms, simply assuming the application scenario where only the decentralized network is available. In this paper, we study a D-PSGD algorithm and provide the first theoretical analysis that indicates a regime in which decentralized algorithms might outperform centralized algorithms for distributed stochastic gradient descent. This is because D-PSGD has comparable total computational complexities to C-PSGD but requires much less communication cost on the busiest node. We further conduct an empirical study to validate our theoretical analysis across multiple frameworks (CNTK and Torch), different network configurations, and computation platforms up to 112 GPUs. On network configurations with low bandwidth or high latency, D-PSGD can be up to one order of magnitude faster than its well-optimized centralized counterparts.

研究の動機と目的

• 分散 SGD において、分散型の通信が中央集権的な設定を打ち負かせるかを動機づけ、評価する。
• D-PSGD が C-PSGD に匹敵する、または上回る総最適化コストを示す領域を特定する理論分析を提供する。
• CNTK や Torch などのフレームワーク、ネットワーク構成、巨大な GPU クラスタにわたって、理論を経験的に検証する。
• 実世界の展開における実用的なスピードアップと通信パターンを定量化する。

提案手法

• 接続された分散ネットワーク上で分散型並列確率的勾配降下法（D-PSGD）を提案する。
• f(x)=1/n sum_i Eξ~Di Fi(x; ξ) を用いて min_x f(x) として問題をモデル化し、トポロジーを符号化する対称的な二重確率的重み行列 W を用いる。
• 更新式 X_{k+1} = X_k W - γ ∂F(X_k; ξ_k) を示し、勾配が有界であることや定数領域を仮定せずに収束を分析する。
• 1ノードあたりの通信を O(Deg(network)) に削減しつつ C-PSGD と同程度の収束速度を示す収束境界を導出する。
• K 回の反復とネットワークのスペクトル特性の観点から、ノード数の増加に伴う線形スピードアップが達成可能となる条件を提供する。
• 表1において C-PSGD と D-PSGD の計算量と通信量を比較する。

実験結果

リサーチクエスチョン

• RQ1 収束と総計算量の観点で、どの条件下で分散 PSGD が中央集権 PSGD に匹敵するまたは上回ることができるか。
• RQ2 通信パターンとネットワークトポロジーが D-PSGD の収束とスピードアップにどう影響するか。
• RQ3 ノード数の増加とともに分散アルゴリズムが線形スピードアップを達成できるか、また実用的な限界は何か。
• RQ4 フレームワーク、ネットワーク構成、ハードウェアスケールごとに D-PSGD と C-PSGD を経験的に比較するとどうなるか。
• RQ5 ネットワーク帯域幅と遅延が分散型と中央集権的アプローチの相対性能に与える影響は何か。

主な発見

アルゴリズム	通信量の計算量	計算量
C-PSGD (mini-batch SGD)	O(n)	O(n/ϵ + 1/ϵ^2)
D-PSGD	O(Deg(network))	O(n/ϵ + 1/ϵ^2)

• D-PSGD は C-PSGD に匹敵する収束速度を達成し、総計算量は類似しているが、最も忙しいノードでの通信は削減される。
• ノード数が増えると、D-PSGD は計算量の漸近的な線形スピードアップを示すことができる（K が十分大きい場合）。
• 低帯域幅または高遅延のネットワークでは、D-PSGD は十分に最適化された中央集権的対抗手法より最大約10倍高速になりうる。
• CNTK および Torch を横断した実験、ネットワークは最大112 GPU で、通信が制約される状況下で D-PSGD が中央集権的手法を上回ることを示す。
• D-PSGD の1反復あたりの通信コストはネットワーク次数に比例して拡大するが、C-PSGD の O(n) ボトルネックとは異なり、疎なトポロジ（例: リング）でより良いスケーラビリティを実現する。
• 経験的結果は、D-PSGD と中央集権アプローチの間でトレーニング損失と精度の軌道が類似していることを示し、D-PSGD はより少ない通信オーバーヘッドでこれを達成する。