[論文レビュー] 8-Bit Approximations for Parallelism in Deep Learning

Tim Dettmers|arXiv (Cornell University)|Jan 1, 2016

Advanced Neural Network Applications被引用数 30

ひとこと要約

本論文では、大規模なGPUシステムにおける通信効率を向上させるために、深層学習における勾配および活性化関数の8ビット近似を提案する。32ビットデータを8ビットに圧縮することで、96 GPU環境において最大50倍の高速化を達成し、帯域幅効率を2倍に向上させたが、MNIST、CIFAR10、ImageNetの各ベンチマークにおいて、モデル並列およびデータ並列の両方の設定下でもモデルの精度を損なわずに実現した。

ABSTRACT

Abstract: The creation of practical deep learning data-products often requires parallelization across processors and computers to make deep learning feasible on large data sets, but bottlenecks in communication bandwidth make it difficult to attain good speedups through parallelism. Here we develop and test 8-bit approximation algorithms which make better use of the available bandwidth by compressing 32-bit gradients and nonlinear activations to 8-bit approximations. We show that these approximations do not decrease predictive performance on MNIST, CIFAR10, and ImageNet for both model and data parallelism and provide a data transfer speedup of 2x relative to 32-bit parallelism. We build a predictive model for speedups based on our experimental data, verify its validity on known speedup data, and show that we can obtain a speedup of 50x and more on a system of 96 GPUs compared to a speedup of 23x for 32-bit. We compare our data types with other methods and show that 8-bit approximations achieve state-of-the-art speedups for model parallelism. Thus 8-bit approximation is an efficient method to parallelize convolutional networks on very large systems of GPUs.

研究の動機と目的

• 制限された帯域幅に起因する大規模なディープラーニングシステムにおける通信ボトル neck を解消すること。
• 勾配および非線形活性化関数の8ビット近似が、モデル性能を維持しつつ並列処理の効率を向上させられるかどうかを調査すること。
• 8ビット近似におけるスループット向上のための予測モデルを構築し、検証すること。
• 96 GPUクラスタ上での8ビット手法が、32ビット並列処理を上回るスループット向上を達成できることを示すこと。
• 8ビット近似をディープラーニングにおけるモデル並列処理の最先端技術として確立すること。

提案手法

• 32ビット勾配および非線形活性化関数を8ビット表現に圧縮することで、データ転送量を削減する。
• 精度を損なわず、低精度でもモデル性能を維持できる近似アルゴリズムを設計する。
• MNIST、CIFAR10、ImageNetの複数のデータセットにおいて、モデル並列およびデータ並列の両設定で8ビット近似を実装する。
• MNIST、CIFAR10、ImageNetからの実験データに基づき、スループット向上のための予測モデルを構築する。
• 既知のスループットデータを用いて予測モデルを検証し、正確性および一般化能力を確認する。
• 既存手法と比較することで、モデル並列処理における8ビット近似の優れたスループット性能を実証する。

実験結果

リサーチクエスチョン

• RQ1 MNIST、CIFAR10、ImageNetといった標準ベンチマークにおいて、勾配および活性化関数の8ビット近似が予測性能を維持できるか？
• RQ2 大規模なGPUシステムにおいて、8ビット近似が通信効率およびスループット向上にどの程度寄与するか？
• RQ3 8ビット近似に基づくスループット予測モデルは、実世界のスループットデータとどの程度一致するか？
• RQ4 96 GPU環境において、8ビット近似が32ビット並列処理を上回るスループット向上を達成できるか？
• RQ5 モデル並列処理におけるスループット向上の観点から、8ビット近似は他の既存手法と比べてどのように優れているか？

主な発見

• 8ビット近似は、32ビット並列処理と比較して、予測性能に損失を生じさせることなく、データ転送速度を2倍に向上させた。
• 96 GPUのシステムでは、8ビット近似が50倍のスループット向上を達成したのに対し、32ビット並列処理では23倍にとどまった。
• モデル並列およびデータ並列の両設定において、MNIST、CIFAR10、ImageNetの全データセットで精度を維持した。
• 既知のスループットデータを用いてスループット予測モデルを検証した結果、その信頼性が確認された。
• 8ビット近似は、モデル並列処理において最先端のスループット向上を達成し、既存手法を上回った。
• 帯域幅使用を最適化することで、非常に大規模なGPUシステム上での畳み込みニューラルネットワークの効率的並列化を可能にした。