[論文レビュー] PyTorch Distributed: Experiences on Accelerating Data Parallel Training

Li Shen, Yanli Zhao+9 more|arXiv (Cornell University)|Jun 28, 2020

Software System Performance and Reliability参考文献 26被引用数 116

ひとこと要約

本論文は、データ並列トレーニングを高速化するための PyTorch DistributedDataParallel (DDP) の設計、実装、評価を提示し、勾配バケティング、計算と通信の重ね合わせ、勾配同期のスキップを含む。大規模な GPU 数においてほぼ線形スケーラビリティを達成する。

ABSTRACT

This paper presents the design, implementation, and evaluation of the PyTorch distributed data parallel module. PyTorch is a widely-adopted scientific computing package used in deep learning research and applications. Recent advances in deep learning argue for the value of large datasets and large models, which necessitates the ability to scale out model training to more computational resources. Data parallelism has emerged as a popular solution for distributed training thanks to its straightforward principle and broad applicability. In general, the technique of distributed data parallelism replicates the model on every computational resource to generate gradients independently and then communicates those gradients at each iteration to keep model replicas consistent. Despite the conceptual simplicity of the technique, the subtle dependencies between computation and communication make it non-trivial to optimize the distributed training efficiency. As of v1.5, PyTorch natively provides several techniques to accelerate distributed data parallel, including bucketing gradients, overlapping computation with communication, and skipping gradient synchronization. Evaluations show that, when configured appropriately, the PyTorch distributed data parallel module attains near-linear scalability using 256 GPUs.

研究の動機と目的

• PyTorch の分散データ並列モジュール（DDP）の設計と実装を示す。
• 分散トレーニングと局所トレーニングの数学的同等性を勾配の同期によって実現する方法を示す。
• パフォーマンスのボトルネックを特定し、トレーニングスループットを最大化する最適化技術を提示する。
• 内部および外部の導入事例から現実的な洞察と測定値を提供する。
• 産業規模の分散トレーニングにおける実用的な注意点と将来の改善の方向性を強調する。

提案手法

• DDP を非侵入的な統合を確保するためにローカルモデルをラップする nn.Module として提示する。
• Autograd フックや AllReduce ベースの勾配平均化を含む勾配削減技術を説明する。
• 小さな勾配を大きなバケットにまとめて AllReduce 効率を改善する勾配バケティングを導入する。
• 勾配削減の遅延を隠すために計算と通信の重ね合わせを説明する。
• 複数の反復にわたる勾配蓄積を可能にする no_sync コンテキストマネージャを解説する。
• 集団バックエンド（NCCL、Gloo、MPI）と通信をルーティングする ProcessGroup の抽象化を詳述する。

実験結果

リサーチクエスチョン

• RQ1 PyTorch の DDP はユーザーコードに対して非侵入的なまま、数学的同等性をどのように保証できるのか。
• RQ2 どの最適化（バケティング、重ね合わせ、skip_sync）が分散データ並列トレーニングの性能を最も向上させるのか。
• RQ3 異なる通信バックエンド（NCCL、Gloo、MPI）はスケーラビリティとスループットにどう影響するのか。
• RQ4 大規模展開時の実践的な注意点と障害モードは何か。
• RQ5 この実行時設定（バケットサイズ、プロセスグループ、未使用パラメータの取り扱い）は収束と速度にどのように影響するのか。

主な発見

• DDP は適切に構成された場合、最大 256 GPU でほぼ線形のスケーラビリティを達成できる。
• 勾配バケティングと計算と通信の重ね合わせは、特に多くの小さなパラメータを持つモデルで性能を大幅に向上させる。
• 勾配同期をスキップする（no_sync）は通信オーバーヘッドを平均化して低減し、収束速度への影響は最小限にとどまる。
• 通信は支配的な待機時間成分であり、バケットサイズは効率に大きく影響する；不適切なバケットサイズは利点を打ち消す可能性がある。
• NCCL と Gloo のバックエンドは異なる性能特性を示す；最適なスループットにはバケットサイズとプロセスグループの構成が重要である。
• 実験は DD P の本番ワークロードへの大幅な適用と影響を裏付ける。