[論文レビュー] Communication-Efficient Distributed Deep Learning: A Comprehensive Survey

Zhenheng Tang, Shaohuai Shi+3 more|arXiv (Cornell University)|Mar 10, 2020

Stochastic Gradient Optimization Techniques参考文献 210被引用数 89

ひとこと要約

通信効率の高いデータ並列分散ディープラーニングの包括的な調査で、同期、システムアーキテクチャ、圧縮、通信と計算の並列性の4次元分類、ベンチマーク、収束解析を概説する。

ABSTRACT

Distributed deep learning (DL) has become prevalent in recent years to reduce training time by leveraging multiple computing devices (e.g., GPUs/TPUs) due to larger models and datasets. However, system scalability is limited by communication becoming the performance bottleneck. Addressing this communication issue has become a prominent research topic. In this paper, we provide a comprehensive survey of the communication-efficient distributed training algorithms, focusing on both system-level and algorithmic-level optimizations. We first propose a taxonomy of data-parallel distributed training algorithms that incorporates four primary dimensions: communication synchronization, system architectures, compression techniques, and parallelism of communication and computing tasks. We then investigate state-of-the-art studies that address problems in these four dimensions. We also compare the convergence rates of different algorithms to understand their convergence speed. Additionally, we conduct extensive experiments to empirically compare the convergence performance of various mainstream distributed training algorithms. Based on our system-level communication cost analysis, theoretical and experimental convergence speed comparison, we provide readers with an understanding of which algorithms are more efficient under specific distributed environments. Our research also extrapolates potential directions for further optimizations.

研究の動機と目的

• データ並列分散トレーニングにおける通信効率に焦点を当てた分類法を導入する。
• 状態最先端の同期、システムアーキテクチャ、圧縮技術、スケジューリング手法を調査する。
• 収束境界を分析し、主流アルゴリズムを実証的に比較する。
• ベンチマークフレームワークと異なる環境でのアルゴリズム選択に関する実用的なガイダンスを提供する。

提案手法

• 4次元分類法を提案する: 通信同期、システムアーキテクチャ、圧縮技術、通信と計算の並列性。
• BSP-SGDとその変種、及び同期、stale-synchronous、非同期、Local-SGDフレームワークをレビューする。
• 集中型（Parameter Server）と分散型（All-Reduce、Gossip）アーキテクチャとそれらのトレードオフを調査する。
• 収束分析を整理・比較し、FedML/MPIベースのフレームワークを用いて実証的なベンチマークを提供する。
• 分散 DL における通信最適化の補助的工夫と今後の潜在的な方向性を要約する。

実験結果

リサーチクエスチョン

• RQ1 データ並列分散ディープラーニングにおける通信効率を支配する主な次元は何か？
• RQ2 異なる同期スキーム、システムアーキテクチャ、圧縮技術、計算-通信並列性が収束性とスケーラビリティにどう影響するか？
• RQ3 代表的なアルゴリズムの理論的収束保証と実践的なパフォーマンスのトレードオフはアーキテクチャ間でどうなるか？
• RQ4 統一された実験環境下で主流アルゴリズム間の経験的結果はどう比較されるか？
• RQ5 分散DLにおける通信ボトルネックをさらに低減する今後の方向性は何か？

主な発見

• 4次元分類法はデータ並列DLの通信効率の主要軸を捉えている。
• 同期、アーキテクチャ、圧縮、再組み合わせられたスケジューリングの選択は、収束、輻輳、モデルの整合性に異なるトレードオフを生む。
• 経験的実験では、BSP-SGD、ASP-SGD、Local-SGD、FedAvgは統一設定下で同様の精度に達し得るが、ワーカ数と古さに応じて性能と安定性が変動する。
• 非同期は実時間を改善できる一方で収束を悪化させる可能性がある。ローカル更新（Local-SGD）は通信を減らせるが、精度低下を避けるために同期頻度を慎重に設定する必要がある。
• 集中型（PS）対分散型（All-Reduce、Gossip）アーキテクチャは、異なるボトルネック、輻輳プロファイル、スケーリングの容易さを提示する。