[論文レビュー] Post-Training Piecewise Linear Quantization for Deep Neural Networks

Jun Fang, Ali Shafiee+4 more|arXiv (Cornell University)|Jan 31, 2020

Advanced Neural Network Applications参考文献 64被引用数 16

ひとこと要約

本稿では、深層ニューラルネットワークの低ビット後処理量子化を改善するため、テンソル値の範囲を重複のない領域に分割し、各領域に等しい量子化レベルを割り当てる Post-Training Piecewise Linear Quantization (PWLQ) を提案する。各領域における最適なブレークポイントを、量子化誤差を最小化するように最適化することで、性能を向上させる。PWLQ は、4ビット以下で画像分類、セマンティックセグメンテーション、オブジェクト検出の分野で最先端の性能を達成し、再訓練やトレーニングデータのアクセスを必要とせず、最小限のハードウェアオーバーヘッドで均一量子化を著しく上回る。

ABSTRACT

Quantization plays an important role in the energy-efficient deployment of deep neural networks on resource-limited devices. Post-training quantization is highly desirable since it does not require retraining or access to the full training dataset. The well-established uniform scheme for post-training quantization achieves satisfactory results by converting neural networks from full-precision to 8-bit fixed-point integers. However, it suffers from significant performance degradation when quantizing to lower bit-widths. In this paper, we propose a piecewise linear quantization (PWLQ) scheme to enable accurate approximation for tensor values that have bell-shaped distributions with long tails. Our approach breaks the entire quantization range into non-overlapping regions for each tensor, with each region being assigned an equal number of quantization levels. Optimal breakpoints that divide the entire range are found by minimizing the quantization error. Compared to state-of-the-art post-training quantization methods, experimental results show that our proposed method achieves superior performance on image classification, semantic segmentation, and object detection with minor overhead.

研究の動機と目的

• 低ビット幅（例：4ビット）における後処理量子化の性能低下、特にベル型分布を示す重みおよび活性化を持つモデルに対して、その問題を解決すること。
• 再トレーニングや完全なトレーニングデータへのアクセスを必要とせず、高い精度を維持する量子化方式を開発すること。
• 複雑な変換やルックアップテーブルを避ける一方で、均一量子化よりも豊かな表現を可能にする、ハードウェアに優しい手法を設計すること。
• 分類、セグメンテーション、オブジェクト検出を含む多様なコンピュータビジョンタスクにおいて、提案手法の評価を実施すること。

提案手法

• 各テンソル（重みまたは活性化）の全範囲を重複のない領域に分割し、各領域に等しい数の量子化レベルを割り当てる。
• テンソル値の分布をモデル化するために、分離線形近似を用いる。これは、長い尾部を持つベル型分布に対して特に効果的である。
• ブレークポイント（領域間の境界）を、数値最適化により量子化誤差を最小化するように決定する。
• レイヤー単位またはチャネル単位の量子化をサポートし、さらに精度を向上させるためにバイアス補正を統合する。
• 対数変換やクラスタリングに基づくルックアップを避けることで、ハードウェア効率を維持し、整数オンリーのハードウェアでも高速な推論を可能にする。
• 本手法はトレーニング後処理として適用され、元のトレーニングデータセットへのアクセスやファインチューニングを一切必要としない。

実験結果

リサーチクエスチョン

• RQ1 分離線形量子化方式は、低ビット後処理量子化において、均一量子化よりも量子化誤差をより効果的に低減できるか？
• RQ2 4ビット以下で、長尾を持つベル型分布を示す重みおよび活性化を持つモデルに対して、PWLQ はどの程度の性能を示すか？
• RQ3 最適なブレークポイント選択は、さまざまなビジョンタスクにおける量子化精度およびモデル性能にどのような影響を与えるか？
• RQ4 PWLQ は、DFQ などの最先端の後処理量子化手法と比較して、精度およびハードウェア効率の面で優れているか？
• RQ5 PWLQ は、再トレーニングを必要とせず、セマンティックセグメンテーションやオブジェクト検出を含む多様なコンピュータビジョンタスクに効果的に適用できるか？

主な発見

• ImageNet 分類タスクにおいて、4ビットの PWLQ は ResNet-50 でトップ-1 精度 74.98% を達成し、4ビット均一量子化よりも 2.56% の精度向上を達成した。
• DeepLab-v3+ におけるセマンティックセグメンテーションでは、4ビットの PWLQ が 67.66% の mIoU を達成し、4ビット均一量子化と比較して 17.61% の改善を示した。
• SSD-Lite を用いたオブジェクト検出では、4ビットの PWLQ が、完全精度モデルと比較して精度低下をたった 0.38% に抑えたのに対し、均一量子化では 3.91% の低下を示した。
• 6ビットの重みを用いた PWLQ は、DeepLab-v3+ において 8ビットの DFQ よりも優れた性能を示し、mIoU 70.39% を達成した（DFQ は 72.33%）。
• 本手法は、計算オーバーヘッドを最小限に抑えながら、すべての評価タスクで最先端の結果を達成し、優れた一般化性能とハードウェア互換性を示した。