[論文レビュー] Communication Optimization Strategies for Distributed Deep Learning: A Survey

Shuo Ouyang, Dezun Dong+2 more|arXiv (Cornell University)|Mar 6, 2020

Advanced Neural Network Applications被引用数 10

ひとこと要約

本サーベイは、分散ディープラーニングにおける通信最適化戦略について包括的な分析を提示し、手法をアルゴリズム的およびネットワークレベルのアプローチに分類する。モデル圧縮、勾配スパarsification、通信・計算の重ね合わせを通じて通信頻度と通信量を低減するとともに、最適化されたプロトコルおよびトポロジーを用いてネットワーク効率を向上させることで、帯域幅制限のある環境における分散DNN学習を加速する。

ABSTRACT

Recent trends in high-performance computing and deep learning lead to a proliferation of studies on large-scale deep neural network (DNN) training. However, the frequent communication requirements among computation nodes drastically slow down the overall training speed, which makes the bottleneck in distributed training, particularly in clusters with limited network bandwidth. To mitigate the drawbacks of distributed communication, researchers have proposed various optimization strategies. In this paper, we give a comprehensive survey of communication strategies from both algorithm and computer network perspectives. Algorithm optimizations focus on reducing the amount of communication in distributed training, while network optimizations focus on speeding up the communication between distributed devices. At the algorithm level, we describe how to reduce the number of communication rounds and transmitted bits per round, besides we shed light on how to overlap computation and communication. At the network level, we discuss the effect caused by network infrastructures, including communication schemes, network protocols, and topology. Finally, we extrapolate potential challenges and research directions for communication acceleration in distributed DNN training.

研究の動機と目的

• 低帯域幅クラスタにおける分散ディープラーニング学習における通信がボトルネックを形成する役割を分析すること。
• 通信ラウンド数と送信データ量を削減するアルゴリズム戦略を特定・分類すること。
• 通信方式、プロトコル、トポロジーを含むネットワークレベルの最適化が通信効率をどのように向上させるかを検討すること。
• 計算と通信の重ね合わせに関する知見を統合し、学習スループットを向上させること。
• 通信最適化による分散DNN学習の高速化に向けた今後の研究課題と方向性を提示すること。

提案手法

• 通信ラウンドあたりの送信ビット数を削減するためのアルゴリズム最適化（例：勾配スパarsification、量子化）を提案する。
• 改善された集約および更新戦略を通じて通信ラウンド数を最小限に抑える技術を導入する。
• 通信遅延を隠し、リソース利用効率を向上させるために、通信と計算の重ね合わせメカニズムを分析する。
• RDMAなどのプロトコルやファットツリーなどのネットワークトポロジーを含むネットワークインfraの通信パフォーマンスへの影響を評価する。
• パラメータサーバーやリングアロールーチンといった通信方式を分類し、スケーラビリティと効率性を評価する。
• ネットワークプロトコルおよびハードウェア支援（例：高速インタコネクト）がエンドツーエンドの学習パフォーマンスに与える影響をレビューする。

実験結果

リサーチクエスチョン

• RQ1 モデル収束に悪影響を及げることなく、分散DNN学習における通信ラウンド数をどのように最小化できるか？
• RQ2 分散学習における1ラウンドあたりの送信データ量を効果的に削減するアルゴリズム的手法は何か？
• RQ3 計算と通信をどの程度重ね合わせることで、学習効率を向上させられるか？
• RQ4 ネットワークプロトコルおよびトポロジーは、分散ディープラーニングシステムにおける通信パフォーマンスにどのように影響を与えるか？
• RQ5 将来の分散DNN学習フレームワークにおいて、スケーラブルかつ効率的な通信を実現するにあたり、主な未解決課題は何か？

主な発見

• 勾配スパarsificationや量子化といったアルゴリズム最適化は、通信ラウンドあたりの送信データ量を顕著に削減し、帯域効率を向上させる。
• 通信と計算を重ね合わせる技術は、通信遅延を効果的に隠し、全体の学習スループットを向上させることができる。
• 高速インタコネクトやRDMAのような効率的なプロトコルを含むネットワークレベルの最適化は、大規模クラスタにおける通信オーバーヘッドを顕著に低減する。
• パラメータサーバーやリングアロールーチンといった通信方式の選定は、スケーラビリティと学習パフォーマンスに明確な影響を与える。
• ネットワークトポロジーは、特に大規模分散システムにおいて通信ボトルネックを決定づける重要な要因である。
• 今後の研究は、ネットワーク状態やモデル特性に応じて動的に調整可能な適応的通信戦略に焦点を当てるべきである。