[論文レビュー] Communication-Efficient Distributed Deep Learning: Survey, Evaluation, and Challenges.

Shaohuai Shi, Zhenheng Tang+4 more|arXiv (Cornell University)|May 27, 2020

Brain Tumor Detection and Classification被引用数 2

ひとこと要約

この論文は、通信効率の良い分散ディープラーニング技術を調査し、最適化アルゴリズム、システムアーキテクチャ、通信インfraストラクチャの3つに分類している。32-GPUクラスタを用い、10Gbpsおよび100Gbpsのネットワークで7つの手法を評価した結果、通信削減技術が特に高遅延条件下でスケーラビリティと学習効率を顕著に向上させることを示している。

ABSTRACT

In recent years, distributed deep learning techniques are widely deployed to accelerate the training of deep learning models by exploiting multiple computing nodes. However, the extensive communications among workers dramatically limit the system scalability. In this article, we provide a systematic survey of communication-efficient distributed deep learning. Specifically, we first identify the communication challenges in distributed deep learning. Then we summarize the state-of-the-art techniques in this direction, and provide a taxonomy with three levels: optimization algorithm, system architecture, and communication infrastructure. Afterwards, we present a comparative study on seven different distributed deep learning techniques on a 32-GPU cluster with both 10Gbps Ethernet and 100Gbps InfiniBand. We finally discuss some challenges and open issues for possible future investigations.

研究の動機と目的

• 分散ディープラーニングにおけるシステムスケーラビリティを妨げる主な通信課題を特定すること。
• 最適化アルゴリズム、システムアーキテクチャ、通信インfraストラクチャの3レベルにわたる、通信効率の良い技術の包括的分類を提供すること。
• 異なるネットワーク環境下で32-GPUクラスタ上で7つの代表的な分散学習手法を実験的に評価すること。
• ネットワーク帯域幅と遅延が学習パフォーマンスおよび通信効率に与える影響を分析すること。
• 通信効率の良いディープラーニングにおける未解決の課題と今後の研究方向性を強調すること。

提案手法

• 論文は、最適化アルゴリズム（例：勾配圧縮）、システムアーキテクチャ（例：パラメータサーバ対比リングアトムリダクション）、通信インfraストラクチャ（例：ネットワークトポロジーやプロトコル）の3段階分類を提案している。
• 勾配量子化、スパarsification、モデルアveragingなどの手法を含む7つの代表的手法を、32-GPUクラスタ上で評価している。
• 10Gbpsイーサネットと100Gbpsインフィニバンドを用いて、異なる帯域幅と遅延の下でのパフォーマンスを評価する実験を実施している。
• 評価は、さまざまなディープラーニングワークロードにおける学習スピードアップ、通信オーバーヘッド、収束挙動に焦点を当てている。
• 標準ベンチマークを用いて、技術間の通信効率とスケーラビリティを比較している。
• 通信削減、収束安定性、計算オーバーヘッドのトレードオフを特定するための比較分析が実施されている。

実験結果

リサーチクエスチョン

• RQ1 異なる通信効率の良い技術は、分散ディープラーニングにおける学習スピードアップとスケーラビリティにどのように影響を与えるか？
• RQ2 ネットワーク帯域幅（10Gbps 対 100Gbps）は、通信効率の良い学習手法のパフォーマンスにどのような影響を与えるか？
• RQ3 どの最適化アルゴリズムとシステムアーキテクチャが、通信削減とモデル収束のバランスを最も良く実現するか？
• RQ4 勾配圧縮とスパースフィケーション手法は、通信オーバーヘッドと学習精度の観点でどのように比較できるか？
• RQ5 分散学習におけるさらなる通信効率化を達成するうえでの主なボトルネックと未解決の課題は何か？

主な発見

• 通信効率の良い技術は、特に10Gbpsイーサネットのような低帯域幅ネットワークにおいて、学習時間を顕著に短縮する。
• 勾配量子化やスパースフィケーションなどの手法は、顕著な精度損失なしに通信量を最大90％まで削減できる。
• 100Gbpsインフィニバンドネットワークは10Gbpsイーサネットに比べて収束が速く、スループットも高いが、依然として通信圧縮技術による顕著な利点が得られる。
• システムアーキテクチャの選択、特にパラメータサーバ対比アトムリダクションの違いが、通信効率とスケーラビリティに明確な影響を与える。
• 一部の通信削減手法は、特に過剰な圧縮レベルが適用された場合、収束の不安定性を引き起こすことがある。
• 本研究では、帯域幅だけでなく、ネットワーク遅延が通信効率の良い技術の有効性を決定づける重要な要因であると特定した。