[論文レビュー] HAWQV3: Dyadic Neural Network Quantization

Zhewei Yao, Zhen Dong+9 more|arXiv (Cornell University)|Nov 20, 2020

Advanced Neural Network Applications参考文献 51被引用数 18

ひとこと要約

HAWQ-V3 は、浮動小数点演算および整数除算を一切排除し、すべての推論処理を整数乗算、加算、ビットシフトのみで行う混合精度整数のみの量子化フレームワークを導入する。ハードウェアに適した整数線形計画法を用いてビット精度設定を最適化し、4ビット量子化で1.45倍の高速化、INT8と比較して23％のレイテンシ削減を達成しながら高い精度を維持する。TVMを用いた実ハードウェア上でのデプロイにより結果が検証された。

ABSTRACT

Current low-precision quantization algorithms often have the hidden cost of conversion back and forth from floating point to quantized integer values. This hidden cost limits the latency improvement realized by quantizing Neural Networks. To address this, we present HAWQV3, a novel mixed-precision integer-only quantization framework. The contributions of HAWQV3 are the following: (i) An integer-only inference where the entire computational graph is performed only with integer multiplication, addition, and bit shifting, without any floating point operations or even integer division; (ii) A novel hardware-aware mixed-precision quantization method where the bit-precision is calculated by solving an integer linear programming problem that balances the trade-off between model perturbation and other constraints, e.g., memory footprint and latency; (iii) Direct hardware deployment and open source contribution for 4-bit uniform/mixed-precision quantization in TVM, achieving an average speed up of $1.45 imes$ for uniform 4-bit, as compared to uniform 8-bit for ResNet50 on T4 GPUs; and (iv) extensive evaluation of the proposed methods on ResNet18/50 and InceptionV3, for various model compression levels with/without mixed precision. For ResNet50, our INT8 quantization achieves an accuracy of $77.58\%$, which is $2.68\%$ higher than prior integer-only work, and our mixed-precision INT4/8 quantization can reduce INT8 latency by $23\%$ and still achieve $76.73\%$ accuracy. Our framework and the TVM implementation have been open sourced.

研究の動機と目的

• ニューラルネットワーク推論における浮動小数点演算を排除し、整数のみのハードウェアアクセラレータと完全に互換性を持つことを目的とする。
• 既存の量子化手法における浮動小数点変換の隠れたコストがレイテンシ向上を制限する問題に対処することを目的とする。
• 精度、モデルサイズ、レイテンシ、計算コストのバランスを最適に保つハードウェアに適した混合精度量子化戦略を開発することを目的とする。
• Apache TVM を用いて 4ビットおよび混合精度 INT4/INT8 モデルを直接ハードウェアにデプロイ可能とし、性能を検証することを目的とする。
• 新しい整数演算および最適化手法により、先行する整数のみの量子化手法よりも高い精度とより速い推論を達成することを目的とする。

提案手法

• フレームワークは、畳み込み、バッチ正則化、残差接続などのすべての推論処理を、浮動小数点演算や整数除算を一切使用せずに、整数乗算、加算、ビットシフトのみで実行する。
• 独創的な二進数算術形式により、バッチ正則化のパラメータを重みスケールおよびバイアスに統合し、BN層に対しても完全な整数のみの計算を可能にする。
• ハードウェアに適した混合精度量子化戦略は、整数線形計画法（ILP）の定式化を用い、各層のビット精度を同時に最適化することで、モデルの摂動を制約付きで最小化する。
• ILPソルバは直接的なハードウェア測定値に従い、実世界のデプロイに最適な精度割り当てを特定する。
• Apache TVM と統合され、4ビットおよび混合精度 INT4/INT8 推論をサポートし、PyTorch におけるレイヤーワイズの活性化マッチングによりモデル全体の検証が行われる。
• パイプライン全体がオープンソース化されており、フレームワーク、TVM拡張機能、量子化済みモデルが含まれ、T4 GPU 上で実ハードウェア上で検証済みである。

実験結果

リサーチクエスチョン

• RQ1 すべてのニューラルネットワーク推論処理を、浮動小数点演算や整数除算を一切使用せずに、整数演算のみで行うことは可能か？
• RQ2 モデルサイズ、レイテンシ、計算コストのアプリケーション固有の制約を満たしつつ、混合精度量子化をどのように最適化すれば、精度損失を最小限に抑えることができるか？
• RQ3 4ビット量子化は、8ビット推論よりも顕著な高速化を達成できるか、精度の著しい低下を伴わずに？
• RQ4 ILP を用いたハードウェアに適した精度割り当ては、ヒューリスティック的またはシミュレーションベースの手法と比較して、実世界のパフォーマンスと精度においてどのように差がでるか？
• RQ5 整数のみの量子化は、実ハードウェアに成功裏にデプロイ可能であり、精度とレイテンシの向上が検証可能か？

主な発見

• HAWQ-V3 は、ResNet50 に対して INT8 量子化を用いて ImageNet で 77.58％ のトップ-1精度を達成し、これは先行する整数のみの手法よりも 2.68％ 高い。
• 混合精度 INT4/8 量子化により、ResNet50 の INT8 推論レイテンシが 23％ 減少し、76.73％ の精度を維持した。
• T4 GPU 上で、HAWQ-V3 は 4ビット均一量子化により、ResNet50 の 8ビット推論と比較して 1.45倍の高速化を達成した。
• ResNet18 では、ILPに基づく混合精度設定により、INT8 より 6％ 速く、71.09％ の精度を達成し、モデルサイズは 7.2MB であった。
• ILP ソルバは、すべてのモデルに対して 1 秒未満で最適な精度割り当てを特定でき、実用的なデプロイを可能にした。
• すべての結果は、TVM を介した実ハードウェア上で検証され、レイヤーワイズの活性化が機械精度内で一致しており、シミュレーションバイアスがないことが確認された。