[論文レビュー] AUSN: Approximately Uniform Quantization by Adaptively Superimposing Non-uniform Distribution for Deep Neural Networks

Fangxin Liu, Wenbo Zhao+3 more|arXiv (Cornell University)|Jul 8, 2020

Image and Signal Denoising Methods参考文献 31被引用数 4

ひとこと要約

AUSNは、再訓練を必要とせず、高精度で低ビット幅の推論を実現する、非一様量子化値の適応的重ね合わせによる新しい量子化フレームワークを提案する。デコーダを排除し、シフト・アド演算を用いることで、FPGAにおけるエネルギー消費を2倍、LUT/Flip-Flopリソースを最大4.4倍削減し、画像、音声、物体検出の各タスクで最先端の精度を維持しながら、4〜5ビットで動作する。

ABSTRACT

Quantization is essential to simplify DNN inference in edge applications. Existing uniform and non-uniform quantization methods, however, exhibit an inherent conflict between the representing range and representing resolution, and thereby result in either underutilized bit-width or significant accuracy drop. Moreover, these methods encounter three drawbacks: i) the absence of a quantitative metric for in-depth analysis of the source of the quantization errors; ii) the limited focus on the image classification tasks based on CNNs; iii) the unawareness of the real hardware and energy consumption reduced by lowering the bit-width. In this paper, we first define two quantitative metrics, i.e., the Clipping Error and rounding error, to analyze the quantization error distribution. We observe that the boundary- and rounding- errors vary significantly across layers, models and tasks. Consequently, we propose a novel quantization method to quantize the weight and activation. The key idea is to Approximate the Uniform quantization by Adaptively Superposing multiple Non-uniform quantized values, namely AUSN. AUSN is consist of a decoder-free coding scheme that efficiently exploits the bit-width to its extreme, a superposition quantization algorithm that can adapt the coding scheme to different DNN layers, models and tasks without extra hardware design effort, and a rounding scheme that can eliminate the well-known bit-width overflow and re-quantization issues. Theoretical analysis~(see Appendix A) and accuracy evaluation on various DNN models of different tasks show the effectiveness and generalization of AUSN. The synthesis~(see Appendix B) results on FPGA show $2 imes$ reduction of the energy consumption, and $2 imes$ to $4 imes$ reduction of the hardware resource.

研究の動機と目的

• 低ビット量子化における動的範囲と解像度の間の根本的トレードオフを解消し、精度の低下やビット幅の未利用を回避すること。
• 畳み込みニューラルネットワークにとどまらず、画像分類、音声認識、物体検出の多様なDNNタスクに適用可能な統一された量子化フレームワークの開発。
• デコーダフリーでシフト・アドベースの符号化方式を設計することで、エッジアクセラレータにおけるデコーダのオーバーヘッドを排除し、ハードウェアコストとエネルギー消費を低減すること。
• クリッピング誤差とルーディング誤差の定量的分析を通じて、各層ごとのビット幅の適応的割り当てを可能にすること。
• アクセラレータ設計のための、量子化ビット幅と実際のハードウェア・エネルギー効率との間の原理的関係を確立すること。

提案手法

• AUSNはビット幅をシンボル部とデータ部に分解し、データ部をさらに「基本」と「分割」コンponentに分け、動的範囲と解像度を制御する。
• 非一様量子化値の重ね合わせを用いて均一量子化を近似することで、層やモデルに応じた柔軟で適応的な表現が可能になる。
• 乗算をシフトと加算演算に置き換えるデコーダフリーの符号化方式を採用し、ハードウェアの複雑さとエネルギー消費を顕著に低減する。
• 層ごとの重み分布に基づいて動的にビット幅を再割り当てする適応的ビット割り当て方式により、クリッピング誤差とルーディング誤差を最小化する。
• 新しいルーディング方式により、インフェンス中に一貫した精度を保ち、ビット幅のオーバーフローと再量子化のオーバーヘッドを防止する。
• 再訓練を必要とせず、重みと活性化の両方に対して適用可能であり、多様なモデルとタスクで4〜5ビット量子化を実現する。

実験結果

リサーチクエスチョン

• RQ1 低ビット量子化において、精度や効率を損なうことなく、動的範囲と解像度のバランスをどのようにとれるか？
• RQ2 既存手法における量子化誤差の主な要因は何か？ そして、それらを定量的に分析・軽減する方法は？
• RQ3 再訓練を必要とせず、画像、音声、物体検出の各タスクに一般化可能な統一された量子化フレームワークを設計可能か？
• RQ4 低ビットDNN推論において、高精度な表現を維持しつつ、デコーダのオーバーヘッドをどのように排除できるか？
• RQ5 低ビット量子化の実際のハードウェアおよびエネルギーコストは何か？ そして、アルゴリズム的設計によってどのように最小化できるか？

主な発見

• AUSNは、画像分類（例：CIFAR-10で93.15％top-1）、音声認識（Speech Commandsで93.17％）、物体検出（COCOで31.6％mAP）において、4ビットおよび5ビット量子化で最先端の精度を達成し、0.5％未満の精度低下に抑える。
• FPGA上では、ベースラインの8ビット実装と比較して、エネルギー消費を1.9倍削減し、LUTを2.0倍、FFを4.4倍削減する。
• デコーダの必要性が排除され、シフトと加算演算のみで実行可能なハードウェアフレンドリーな計算が可能となり、DSP使用量と論理リソースのオーバーヘッドが低減する。
• 適応的重ね合わせ方式により、層固有の誤差特性に基づいてビット幅を動的に割り当て、クリッピング誤差とルーディング誤差を最大0.47％まで低減する。
• 理論的分析により、AUSNは情報損失を最小化し、量子化精度とハードウェア効率の間の原理的トレードオフを提供することが示される。
• AUSNはYOLOv3-tiny、CRNNs、TDNNsなど、多様なモデルとタスクに一般化可能であり、再訓練やタスク固有の調整を必要としない。