[論文レビュー] Training High-Performance and Large-Scale Deep Neural Networks with Full 8-bit Integers

Yukuan Yang, Shuang Wu+4 more|arXiv (Cornell University)|Sep 5, 2019

Advanced Neural Network Applications参考文献 34被引用数 11

ひとこと要約

本論文は、重み、活性化、勾配、誤差、更新、バッチ正則化、モーメンタム最適化を含むすべてのデータパスで完全な整数演算を可能にする、大規模な深層ニューラルネットワークのトレーニングに特化した、初めての完全な8ビット整数量子化フレームワークWAGEUBNを提案する。これにより、FP32と比較して最大4倍のメモリ削減、9倍の高速化、30倍以上の低消費電力が実現され、ポータブルデバイスでの効率的なオンライン学習が可能になる。

ABSTRACT

Deep neural network (DNN) quantization converting floating-point (FP) data in the network to integers (INT) is an effective way to shrink the model size for memory saving and simplify the operations for compute acceleration. Recently, researches on DNN quantization develop from inference to training, laying a foundation for the online training on accelerators. However, existing schemes leaving batch normalization (BN) untouched during training are mostly incomplete quantization that still adopts high precision FP in some parts of the data paths. Currently, there is no solution that can use only low bit-width INT data during the whole training process of large-scale DNNs with acceptable accuracy. In this work, through decomposing all the computation steps in DNNs and fusing three special quantization functions to satisfy the different precision requirements, we propose a unified complete quantization framework termed as ``WAGEUBN'' to quantize DNNs involving all data paths including W (Weights), A (Activation), G (Gradient), E (Error), U (Update), and BN. Moreover, the Momentum optimizer is also quantized to realize a completely quantized framework. Experiments on ResNet18/34/50 models demonstrate that WAGEUBN can achieve competitive accuracy on the ImageNet dataset. For the first time, the study of quantization in large-scale DNNs is advanced to the full 8-bit INT level. In this way, all the operations in the training and inference can be bit-wise operations, pushing towards faster processing speed, decreased memory cost, and higher energy efficiency. Our throughout quantization framework has great potential for future efficient portable devices with online learning ability.

研究の動機と目的

• DNNトレーニングにおける不完全な量子化、すなわち一部のデータパスでのみ量子化され、バッチ正則化や最適化子のような重要なコンponentsではFP精度が維持される問題に対処すること。
• 前方および後方伝搬、重み更新、最適化を含む、全トレーニングパイプラインにおいて完全な8ビット整数計算を可能にし、ハードウェア効率を向上させること。
• 低精度トレーニングにおける収束不良問題を克服するため、動的範囲を拡張し、小さな値の情報を保持するフラグビットベースの量子化手法を導入すること。
• ResNet18/34/50のような大規模モデルをImageNetで対象とし、全8ビット整数レベルでの実現可能性と性能を実証すること。
• 将来的なポータブルデバイスにおけるオンライン学習機能を備えた、より高速で低消費電力かつメモリ効率の良いトレーニングを可能にする、ハードウェア最適化フレームワークを提供すること。

提案手法

• フレームワークは、すべてのDNN計算ステップを、W（重み）、A（活性化）、G（勾配）、E（誤差）、U（更新）、BN（バッチ正則化）、O（最適化子）という独立したデータパスに分解し、それぞれを別々に量子化する。
• 異なる精度要件に対応するため、3つの専用の量子化関数を統合する：標準8ビット量子化、誤差および勾配テンソル用のフラグビット強化8ビット量子化、バッチ正則化用のスケーリング整数表現。
• 誤差および勾配テンソルの量子化にフラグビットを導入することで、有効な動的範囲を拡張し、小さなが情報価値の高い値を保持し、収束不良を防止する。
• バッチ正則化レイヤーは、FP依存性を排除するために、学習可能なスケーリング要因（INT8）に置き換える。
• モーメンタム最適化子は完全に8ビット整数に量子化され、すべての最適化ステップがビット単位の演算で実行可能になる。
• フレームワークは、ImageNetを用いたResNet18/34/50上で評価され、エンドツーエンドのトレーニングと推論がすべて8ビット整数算術で実行される。

実験結果

リサーチクエスチョン

• RQ1 バックプロパゲーションおよび最適化を含む、DNNトレーニングの全プロセスにおいて、モデルの精度を損なわずに完全な8ビット整数算術を使用できるか？
• RQ2 特に小さな勾配や誤差に対して収束不良を防ぐために、低精度量子化の動的範囲をどのように拡張できるか？
• RQ3 バッチ正則化を、性能劣化を伴わずに、量子化済みで固定スケールの等価物に効果的に置き換えられるか？
• RQ4 混合精度またはFP32トレーニングと比較して、完全な8ビット整数トレーニングが実際のハードウェア効率（速度、消費電力、面積）にどの程度の向上をもたらすか？
• RQ5 このフレームワークは、ImageNet上での大規模モデル（例：ResNet50）に成功裏に適用可能であり、競争力のある精度を維持できるか？

主な発見

• WAGEUBNは、ResNet18を用いてImageNetで70.2％のトップ-1精度を達成し、大規模モデルにおける完全な8ビット整数トレーニングの実現可能性を示した。
• フレームワークは、フル精度のFP32ネットワークと比較して、モデルサイズを約4倍削減し、メモリ要件を顕著に低減した。
• WAGEUBNにおける乗算および累積演算は、それぞれFP32と比較して3倍以上、9倍以上高速であり、消費電力は30倍以上低減した。
• フラグビット量子化手法により、小さな勾配や誤差のデータカバレッジ比が向上し、収束不良の防止とトレーニング安定性の向上が達成された。
• FPGA上でのハードウェアシミュレーションでは、INT8演算が乗算で30％の面積削減、10倍の低消費電力、3倍の高速化を達成し、累積演算で30倍の低消費電力、9倍の高速化を達成した。
• 本研究は、大規模DNNにおける完全な8ビット整数トレーニングフレームワークを初めて確立し、全トレーニングコンponentsでビット単位の演算を可能にした。これにより、効率的なデバイス内オンライン学習の道が開かれた。