[論文レビュー] Large Scale Artificial Neural Network Training Using Multi-GPUs

Linnan Wang, Wei Wu+2 more|arXiv (Cornell University)|Nov 13, 2015

Neural Networks and Applications参考文献 9被引用数 5

ひとこと要約

本論文は、大規模な人工ニューラルネットワーク（ANN）学習の前方および後方伝搬を行列演算によって最適化することで、大規模なANN学習を高速化するための、外部メモリを活用したマルチGPU行列乗算フレームワークを提案する。複数の非均質的GPU上で線形スループット向上を達成し、大規模モデルの学習効率を顕著に向上させる。

ABSTRACT

This paper describes a method for accelerating large scale Artificial Neural Networks (ANN) training using multi-GPUs by reducing the forward and backward passes to matrix multiplication. We propose an out-of-core multi-GPU matrix multiplication and integrate the algorithm with the ANN training. The experiments demonstrate that our matrix multiplication algorithm achieves linear speedup on multiple inhomogeneous GPUs. The full paper of this project can be found at [1].

研究の動機と目的

• 大規模な人工ニューラルネットワークの学習における計算ボトル neck を解消すること。
• データが個々のGPUメモリ容量を超過する場合でも、複数GPU間で効率的な行列乗算を可能にすること。
• 非均質的GPU構成におけるマルチGPU学習で線形拡張性を達成すること。
• 最適化された行列乗算を、全体のANN学習パイプラインに統合し、パフォーマンスを向上させること。

提案手法

• 本手法は、大規模な行列を複数のGPUに分割することで、個々のGPUメモリ容量を超えるデータを処理できる外部メモリを活用した行列乗算アルゴリズムを採用する。
• GPU間の通信オーバーヘッドを最小限に抑えるために、データ移動と計算のオーバーラップを最適化する。
• バックプロパゲーションの前方および後方伝搬に直接行列乗算を統合し、アルゴリズム的複雑性を行列演算に簡素化する。
• GPUの能力に応じて動的に負荷分散を行うことで、非均質的GPUクラスタをサポートする。
• 通信遅延を隠すために非同期通信パターンを採用し、GPU利用率を向上させる。
• 標準的なCPUベースまたは単一GPU演算に代わり、GPUアクセラレートされた行列カーネルに置き換えることで、ディープラーニング学習パイプラインに統合する。

実験結果

リサーチクエスチョン

• RQ1 外部メモリを活用した行列乗算は、マルチGPUシステム上で大規模なニューラルネットワークの効率的学習を可能にするか？
• RQ2 提案手法は、複数の非均質的GPU上で線形スループット向上を達成するか？
• RQ3 最適化された行列乗算の統合は、ディープニューラルネットワーク全体の学習スループットにどのような影響を与えるか？
• RQ4 通信およびメモリ管理のパフォーマンスへの影響は何か？

主な発見

• 提案された外部メモリを活用した行列乗算は、複数の非均質的GPU上で線形スループット向上を達成し、強力な拡張性を示した。
• 本手法は、GPUメモリと計算リソースをデバイス全体に効率的に活用することで、大規模なニューラルネットワークの学習時間を短縮した。
• ANN学習パイプラインへの最適化された行列演算の統合により、前方および後方伝搬の速度が顕著に向上した。
• 動的負荷分散のおかげで、GPUの能力にばらつきがあっても、高いGPU利用率を維持した。
• 非同期データ転送と効率的なメモリアクセスパターンにより、通信オーバーヘッドが最小限に抑えられた。