[論文レビュー] ChainerMN: Scalable Distributed Deep Learning Framework

Takuya Akiba, Keisuke Fukuda+1 more|arXiv (Cornell University)|Oct 31, 2017

Advanced Neural Network Applications参考文献 6被引用数 58

ひとこと要約

ChainerMN はChainerフレームワークを拡張し、最大128 GPUs で同期データ並列分散トレーニングを実現し、高い並列効率を達成します。NCCL を用いた高速な all-reduce を実現し、単一ノードの Chainer コードからの移植性を容易に提供します。

ABSTRACT

One of the keys for deep learning to have made a breakthrough in various fields was to utilize high computing powers centering around GPUs. Enabling the use of further computing abilities by distributed processing is essential not only to make the deep learning bigger and faster but also to tackle unsolved challenges. We present the design, implementation, and evaluation of ChainerMN, the distributed deep learning framework we have developed. We demonstrate that ChainerMN can scale the learning process of the ResNet-50 model to the ImageNet dataset up to 128 GPUs with the parallel efficiency of 90%.

研究の動機と目的

• 大規模データセット（ImageNet）などを扱い、深層学習研究を加速するためのスケーラブルな分散学習の必要性を動機づける。
• Define-by-Run の柔軟性を保つ Chainer フレームワークの分散拡張機構（ChainerMN）を提示する。
• 既存の Chainer プログラムを分散実行へ容易に port できる API と実装を設計する。
• ResNet-50 を ImageNet 上で用いた大規模 GPU クラスターにおけるスケーラビリティと性能を示す。

提案手法

• Allreduce ベースの勾配平均化を用いた同期データ並列トレーニングを採用する。
• Allreduce のための GPU 間・ノード間通信を最適化するため NCCL を統合する。
• 既存の Chainer プログラムを最小限の変更で分散実行に対応させる Define-by-Run 重視の API（Communicator, Multi-node Optimizer, Scatter）を提供する。
• パラメータ更新前の勾配を透過的に交換するために Chainer Optimizers を Multi-node Optimizer でラップする。
• Scatter によってデータセットを各プロセス間で等分に分配する。
• ResNet-50 を ImageNet 上で用いた 128-GPU クラスターでのスケーラビリティを評価する。

実験結果

リサーチクエスチョン

• RQ1 ChainerMN は大規模モデルを大規模 GPU クラスター上でスケーラブルな同期データ並列トレーニングに適用できるのか。
• RQ2 実用的なワークロード（ImageNet 上の ResNet-50）で 128 GPU へとスケールした場合の達成可能な並列効率はどの程度か。
• RQ3 ChainerMN API は既存の Chainer コードを分散環境へ移行する容易さにどのように影響するのか。
• RQ4 この文脈で NCCL を用いた Allreduce はどのような性能上の利点を提供するのか。

主な発見

#GPUs	Speed-up	Par. Eff.
1	1.00	100.00%
2	1.85	92.66%
4	3.53	88.34%
8	7.09	88.67%
16	13.42	83.88%
32	26.63	83.22%
64	50.52	78.94%
128	101.32	79.16%

• ChainerMN は 128 GPU へスケールし、高い並列効率を達成する（単一ノードに対して 90%、単一 GPU に対して 79% の相対効率）。
• 128 GPU での ResNet-50/ImageNet 実験において、単一 GPU より 101.32 倍のスピードアップを達成。
• 構成全体で報告される並列効率は高い水準を維持（小規模スケールで 88–92%、128 GPU で 79.16% ）。
• 設計は Chainer の Define-by-Run 柔軟性を維持しつつ、最小のコード変更で分散実行を可能にする。
• NCCL の使用は all-reduce 通信の効率を改善し、観測されるスケーラビリティに寄与する。