[論文レビュー] Dataflow-based Joint Quantization of Weights and Activations for Deep Neural Networks

Xue Geng, Jie Fu+5 more|arXiv (Cornell University)|Jan 4, 2019

Advanced Neural Network Applications参考文献 23被引用数 4

ひとこと要約

本論文は、情報損失とハードウェアコストを最小限に抑えるために、ビットシフトと丸め演算のみを用いた、データフローに配慮した重みと活性化の共同量子化手法を提案する。8ビット量子化で最先端の精度を達成し、ベースライン手法と比較してエネルギー消費を約9倍削減、面積を約15倍削減する。

ABSTRACT

This paper addresses a challenging problem - how to reduce energy consumption without incurring performance drop when deploying deep neural networks (DNNs) at the inference stage. In order to alleviate the computation and storage burdens, we propose a novel dataflow-based joint quantization approach with the hypothesis that a fewer number of quantization operations would incur less information loss and thus improve the final performance. It first introduces a quantization scheme with efficient bit-shifting and rounding operations to represent network parameters and activations in low precision. Then it restructures the network architectures to form unified modules for optimization on the quantized model. Extensive experiments on ImageNet and KITTI validate the effectiveness of our model, demonstrating that state-of-the-art results for various tasks can be achieved by this quantized model. Besides, we designed and synthesized an RTL model to measure the hardware costs among various quantization methods. For each quantization operation, it reduces area cost by about 15 times and energy consumption by about 9 times, compared to a strong baseline.

研究の動機と目的

• 精度を損なわずエッジデプロイドDNNのエネルギー消費を削減する課題に対処すること。
• 既存の低精度量子化手法における性能劣化と高いハードウェアコストを克服すること。
• データフローに配慮したモジュール再編を通じて、量子化演算の回数を減らすことで情報損失を最小限に抑えること。
• 効率的な推論を可能にするために、ビットシフトと丸めのみを用いたハードウェアフレンドリーな量子化スキームを設計すること。
• 時間のかかる微調整段階を必要とせず、高精度な量子化モデルを達成すること。

提案手法

• 浮動小数点値をビットシフトと丸めを用いて低精度整数にマップする量子化関数 Q(r; Nr, n_bits) を導入し、Nr を唯一の調整可能なパrameterとする。
• 重み、バイアス、入力・出力活性化の各層に対して、個別に分数ビット幅 (Nr) を設定し、動的範囲を保持する。
• データフローに基づいてネットワークを統合されたモジュールに再構成し、量子化演算の回数を削減する。
• これらのモジュール上で共同再構成誤差損失関数を用い、量子化パラメータをエンドツーエンドで最適化する。
• バッチ正規化レイヤーを畳み込み演算に統合し、さらに計算量とメモリアクセスを削減する。
• 推論においては整数演算のみを用いることで、最小限の計算オーバーヘッドで効率的なハードウェアマッピングを実現する。

実験結果

リサーチクエスチョン

• RQ1 量子化演算の回数を減らすことで、低精度DNNにおける精度向上が可能になるか？
• RQ2 乗算ベースのスケーリングと比較して、ビットシフトベースの量子化スキームはハードウェア効率においてどのように異なるか？
• RQ3 データフローに配慮したモジュール設計による重みと活性化の共同最適化により、微調整段階の必要性が排除できるか？
• RQ4 RTLで実装された場合、異なる量子化演算のハードウェアコスト（面積とエネルギー）はどの程度か？
• RQ5 ImageNet や KITTI といった標準ベンチマークにおいて、提案手法は最先端の量子化技術と比較してどのように性能を発揮するか？

主な発見

• 提案手法は、ResNetを用いたImageNetおよびFaster R-CNNを用いたKITTIにおいて、8ビット量子化で最先端の精度を達成した。
• 8ビット量子化モデルは、フル精度浮動小数点モデルと比較して、計算量とメモリアクセスを約4倍削減した。
• ビットシフト演算は、スケーリング要因を用いた強力なベースラインと比較して、エネルギー消費を約9倍削減、面積を約15倍削減した。
• コードブックベースの手法は、最も高いハードウェアコストを示し、ビットシフト法と比較して面積で約11.5倍、電力で約14.8倍多く消費した。
• 共同再構成誤差損失関数により、別個の微調整フェーズを必要とせず、高精度な量子化モデル学習が可能になった。
• 深層の残差ブロック、特に残差加算ユニットでは、蓄積された量子化効果によりMSEが上昇した。