[論文レビュー] Demystifying Parallel and Distributed Deep Learning: An In-Depth Concurrency Analysis

Tal Ben‐Nun, Torsten Hoefler|arXiv (Cornell University)|Feb 26, 2018

Stochastic Gradient Optimization Techniques参考文献 253被引用数 212

ひとこと要約

単一演算子から分散規模のトレーニングまで、深層学習における同時実行性を分析し、並列性戦略に関するモデルと示唆を提供する包括的な調査。

ABSTRACT

Deep Neural Networks (DNNs) are becoming an important tool in modern computing applications. Accelerating their training is a major challenge and techniques range from distributed algorithms to low-level circuit design. In this survey, we describe the problem from a theoretical perspective, followed by approaches for its parallelization. We present trends in DNN architectures and the resulting implications on parallelization strategies. We then review and model the different types of concurrency in DNNs: from the single operator, through parallelism in network inference and training, to distributed deep learning. We discuss asynchronous stochastic optimization, distributed system architectures, communication schemes, and neural architecture search. Based on those approaches, we extrapolate potential directions for parallelism in deep learning.

研究の動機と目的

• 並列化と分散型深層学習の用語と基礎アルゴリズムを定義する。
• DNN演算子、ネットワークアーキテクチャ、および訓練/推論ワークフロー全体の同時実行性を分析する。
• 分散 DL に関連する並列コンピュータアーキテクチャ、通信スキーム、システム実装をレビューする。
• Work-Depth フレームワークを用いて同時実行性をモデル化し、DAGベースの計算の境界を導出する。

提案手法

• DNN 演算子とその計算モデルの調査と分類。
• 畳み込み、プーリング、正規化演算子の定式化と関連テンソルデータフロー。
• 確率的最適化と重み更新ルールの議論（SGD およびバックプロパゲーションを伴うミニバッチ SGD を含む）。
• Work-Depth モデルを適用して並列性を特徴づけ、DAGベースの計算の境界を導出する。
• MPI および RDMA ベースの通信を含む、単一機器対複数機器の並列性の分析。

実験結果

リサーチクエスチョン

• RQ1 DNN 演算子はどのように同時実行性を露出しており、並列性にはどのような影響があるのか？
• RQ2 ミニバッチ SGD における同時実行性、精度、およびハードウェア利用のトレードオフはどうなるのか？
• RQ3 分散アーキテクチャと通信戦略は、DNN のスケーラブルな訓練と推論にどのような影響を与えるのか？
• RQ4 分散深層学習における並列プログラミングモデルとライブラリ（例：MPI、CUDA、Spark）はどのような役割を果たすのか？
• RQ5 深層学習ワークロードでより高い並列性を達成するための将来の方向性は何か？

主な発見

• GPU 加速ノードは DL 研究の支配的要素であり、分散メモリシステムは大規模トレーニングにおいてますます必須となっている。
• Allreduce および他の集団通信パターンは分散 DL の中心的ボトルネックであり、最適化された HPC 技術の恩恵を受ける。
• ミニバッチサイズは統計的一般化とハードウェア利用の間を決定的にバランスさせ、暖機、学習率スケジュール、分散のばらつき制御に関する理論と経験的証拠が指針となる。
• 畳み込み、プーリング、および正規化演算子は DL ワークロードを推進する主要な計算カーネルであり、それらの並列化戦略の原動力となる。
• DNN の訓練と推論は Work-Depth モデルによる並行性分析を可能にする DAG にマッピングでき、Work-Depth モデルによる並行性分析が可能になる。