[論文レビュー] Blink: Fast and Generic Collectives for Distributed ML

Guanhua Wang, Shivaram Venkataraman+4 more|arXiv (Cornell University)|Oct 11, 2019

Stochastic Gradient Optimization Techniques被引用数 20

ひとこと要約

Blink は、分散機械学習向けの高パフォーマンスでトポロジーに配慮した集団通信ライブラリであり、スパニングツリーのパッケージングを用いて動的に最適な通信プリミティブを生成することで、異種のGPUインターコネクト（例：NVLink と PCIe）全体のリンク利用率を最大化する。NCCL よりも最大 8 倍速いモデル同期を達成し、特に異種環境や部分割り当てされた GPU 環境において、エンドツーエンドの学習時間を最大 40% 減少させる。

ABSTRACT

Model parameter synchronization across GPUs introduces high overheads for data-parallel training at scale. Existing parameter synchronization protocols cannot effectively leverage available network resources in the face of ever increasing hardware heterogeneity. To address this, we propose Blink, a collective communication library that dynamically generates optimal communication primitives by packing spanning trees. We propose techniques to minimize the number of trees generated and extend Blink to leverage heterogeneous communication channels for faster data transfers. Evaluations show that compared to the state-of-the-art (NCCL), Blink can achieve up to 8x faster model synchronization, and reduce end-to-end training time for image classification tasks by up to 40%.

研究の動機と目的

• ハードウェアの非均一性と部分的 GPU 割り当てによる、大規模なデータ並列 DNN 学習における増大する通信ボトルネックに対処する。
• NCCL のようなリングベースのプロトコルが、リング内の最遅いリンク依存により、高帯域幅リンク（例：NVLink）を十分に活用できないという制限を克服する。
• マルチGPUサーバーおよび動的クラスタスケジューリング環境において、異種インターコネクト（NVLink、PCIe）を最適に活用することを可能にする。
• 事前のトポロジー知識が不要な、汎用的でスケーラブルかつ適応可能な通信ライブラリを設計する。
• 分散ディープラーニングワークロードにおけるリンク利用率を最大化し、同期オーバーヘッドを低減することで、エンドツーエンドの学習時間を最小限に抑える。

提案手法

• スパニングツリーのパッケージングにより、異種GPUインターコネクト（NVLink と PCIe）全体のリンク利用率を最大化する通信プリミティブを動的に生成する。
• 全GPU間の接続性と負荷分散を確保しつつ、スパニングツリーの数を最小限に抑えるツリー・パッケージングアルゴリズムを用いる。
• 通信ネットワークを重み付きグラフとしてモデル化し、エッジの重みを帯域幅として定義し、集約スループットを最大化するツリー選択の最適化を適用する。
• 高速リンク（例：NVLink と PCIe の比較）に高い優先度を割り当てることで、異種チャネルをサポートするようにフレームワークを拡張する。
• ノード内およびノード間通信をサポートし、変動するネットワークトポロジーや部分的GPU割り当てに自動的に適応する。
• 軽量なAPIを介して既存のディープラーニングフレームワークに統合し、AllReduce や Broadcast などの集団演算を透明に高速化する。

実験結果

リサーチクエスチョン

• RQ1 通信ライブラリが、リアルタイムで異種GPUインターコネクト（例：NVLink と PCIe）を完全に活用する最適な通信パターンを動的に生成できるか？
• RQ2 Blink のスパニングツリー・パッケージング手法は、NCCL のようなリングベースプロトコルと比較して、エンドツーエンドの学習速度およびリンク利用率においてどのように異なるか？
• RQ3 トポロジーの非均一性が一般的な部分割り当てされたGPUクラスタにおいて、Blink は同期オーバーヘッドをどの程度低減できるか？
• RQ4 異なるノード間帯域幅を有するマルチノード DGX システムにおいて、Blink はどのようにスケーリングするか？
• RQ5 Blink は、手動チューニングを必要とせず、異なるハードウェア世代（例：DGX-1P と DGX-1V）間で高いパフォーマンスを維持できるか？

主な発見

• Blink は、マルチGPUで非均一な環境において、NCCL より最大 8 倍速いモデル同期を達成する。
• 画像分類の学習ワークロードにおいて、Blink は NCCL よりエンドツーエンドの学習時間を最大 40% 減少させる。
• Blink はスパニングツリーの動的パッケージングにより、リングベースプロトコルの帯域幅ボトルネックを回避し、ほぼ最適なリンク利用率を達成する。
• リングベースプロトコルが遅いリンク（例：PCIe）に強制的に使用される状況でも、Blink は NVLink のような高速リンクを優先することで高いスループットを維持する。
• マルチ-DGX-1 環境では、Blink はノード間帯域幅の増加に伴い効果的にスケーリングし、ノード内 PCIe 帯域幅に制限される NCCL を上回る。
• Blink のパフォーマンス優位性は、ノード間帯域幅が増加するにつれて顕著になり、将来的な高帯域幅クラスタにおける強い潜在能力を示している。