[論文レビュー] ACIQ: Analytical Clipping for Integer Quantization of neural networks

Ron Banner, Yury Nahshan+2 more|arXiv (Cornell University)|Sep 27, 2018

Sparse and Compressive Sensing Techniques参考文献 16被引用数 82

ひとこと要約

本稿では、量子化ノイズとクリッピング歪みを最小限に抑えるためにクリッピング値を最適化する、テンソルレベルの解析的クリッピング手法ACIQを提案する。クリッピングに起因する劣化の正確な平均二乗誤差式を導出することで、微調整や完全なデータセットへのアクセスなしに4ビットVGG16-BNで40％以上の精度向上を達成した。

ABSTRACT

Unlike traditional approaches that focus on the quantization at the network level, in this work we propose to minimize the quantization effect at the tensor level. We analyze the trade-off between quantization noise and clipping distortion in low precision networks. We identify the statistics of various tensors, and derive exact expressions for the mean-square-error degradation due to clipping. By optimizing these expressions, we show marked improvements over standard quantization schemes that normally avoid clipping. For example, just by choosing the accurate clipping values, more than 40\% accuracy improvement is obtained for the quantization of VGG16-BN to 4-bits of precision. Our results have many applications for the quantization of neural networks at both training and inference time. One immediate application is for a rapid deployment of neural networks to low-precision accelerators without time-consuming fine tuning or the availability of the full datasets.

研究の動機と目的

• 低精度ニューラルネットワークにおける量子化ノイズとクリッピング歪みのトレードオフを解消すること。
• 整数量子化におけるクリッピングに起因する平均二乗誤差劣化をテンソルレベルで最小化すること。
• 完全なトレーニングデータセットや時間のかかる微調整を必要としない精度向上手法を開発すること。
• 最適化されたクリッピング値を用いて、エッジアクセラレータ向けに低精度モデルを迅速にデプロイ可能にする。

提案手法

• 層間の活性化テンソルの統計的性質を分析し、クリッピング意思決定に活用する。
• 低精度量子化におけるクリッピングに起因する平均二乗誤差劣化の正確な解析的式を導出する。
• 導出した平均二乗誤差式を最小化することで、テンソルレベルでのクリッピング値を最適化する。
• 最適化されたクリッピング値をトレーニングおよび推論の両方で適用し、量子化精度を向上させる。
• 導出した式を用いて、従来の量子化方式で一般的なヒューリスティックなクリッピング選択を回避する。

実験結果

リサーチクエスチョン

• RQ1 クリッピング歪みは、低精度量子化ネットワークにおける精度低下にどのように寄与するか？
• RQ2 クリッピング値の解析的最適化は、標準的手法に比べて量子化誤差をより効果的に低減できるか？
• RQ3 正確なクリッピングによって、微調整なしに4ビット量子化精度をどの程度向上できるか？
• RQ4 提案手法は、低精度アクセラレータ向けに量子化モデルを迅速にデプロイ可能にするか？

主な発見

• 解析的式によるクリッピング値最適化により、低精度量子化における平均二乗誤差劣化が低減された。
• 標準的なクリッピングではなく最適なクリッピング値を用いることで、4ビット量子化VGG16-BNで40％以上の精度向上が達成された。
• 本手法は、完全なトレーニングデータセットや反復的な微調整を必要とせず、高精度な量子化を実現した。
• 本手法はトレーニング時および推論時両方で適用可能であり、低精度ハードウェアへの迅速なデプロイを可能にした。