[論文レビュー] FQ-ViT: Fully Quantized Vision Transformer without Retraining

Yang Lin, Tianyu Zhang+3 more|arXiv (Cornell University)|Nov 27, 2021

Advanced Neural Network Applications参考文献 45被引用数 10

ひとこと要約

本稿では、再訓練を必要とせずに最先端の性能を達成する完全に量子化されたビジョントランスフォーマーであるFQ-ViTを提案する。ハードウェアにやさしい正規化のためのPowers-of-Two Scale（PTS）と、4ビットのアテンションマップ量子化に効率的なLog-Int-Softmax（LIS）を提案した。ViT-Lを用いたImageNetではTop-1精度が85.17%に達し、Cascade Mask R-CNN（Swin-S）を用いたCOCOでは51.4 mAPを記録し、再訓練なしで完全に量子化されたトランスフォーマーにおいて新たなSOTAを樹立した。誤差はわずか約1%にとどまる。

ABSTRACT

Network quantization significantly reduces model inference complexity and has been widely used in real-world deployments. However, most existing quantization methods have been developed and tested mainly on Convolutional Neural Networks (CNN), and suffer severe degradation when applied to Transformer-based architectures. In this work, we present a systematic method to reduce the performance degradation and inference complexity of Quantized Transformers. In particular, we propose Powers-of-Two Scale (PTS) to deal with the serious inter-channel variation of LayerNorm inputs in a hardware-friendly way. In addition, we propose Log-Int-Softmax (LIS) that can sustain the extreme non-uniform distribution of the attention maps while simplifying inference by using 4-bit quantization and the BitShift operator. Comprehensive experiments on various Transformer-based architectures and benchmarks show that our methods outperform previous works in performance while using even lower bit-width in attention maps. For instance, we reach 85.17% Top-1 accuracy with ViT-L on ImageNet and 51.4 mAP with Cascade Mask R-CNN (Swin-S) on COCO. To our knowledge, we are the first to achieve comparable accuracy degradation (~1%) on fully quantized Vision Transformers. Code is available at https://github.com/linyang-zhh/FQ-ViT.

研究の動機と目的

• 既存の量子化手法をビジョントランスフォーマーに適用した際に生じる顕著な性能劣化を是正すること。
• ハードウェアに配慮した量子化技術を用いて、トランスフォーマー基盤モデルの推論複雑性を低減すること。
• ファインチューニングや再トレーニングなしに、ビジョントランスフォーマーのエンドツーエンドの量子化を可能にすること。
• 低ビット量子化下での極めて非一様なアテンションマップ分布ですべての精度を維持すること。
• アテンションマップに4ビット精度を用いることで、完全に量子化されたビジョントランスフォーマーにおける最先端の性能を達成すること。

提案手法

• 層正規化（LayerNorm）の入力におけるチャネル間ばらつきを扱うためのPowers-of-Two Scale（PTS）を導入。2の累乗スケーリング係数を用いることで、効率的なハードウェアデプロイメントを可能にする。
• 量子化に配慮したアテンション機構として、対数的整数近似とビットシフト演算を用いるLog-Int-Softmax（LIS）を提案。4ビット推論を簡素化する。
• キー・バリューの投影およびアテンションマップの両方に4ビット量子化を適用。これによりモデルサイズと計算コストを顕著に削減。
• 多様なビジョントランスフォーマー・アーキテクチャにわたって精度を維持する、トレーニングフリーの量子化認識パイプラインを設計。
• 浮動小数点演算の代わりに効率的なビットシフトを用いるビットシフト演算子を導入。推論を高速化。
• 動的範囲適応を備えた対称的量子化方式を採用。アテンションマップの分布特性を保持する。

実験結果

リサーチクエスチョン

• RQ1 再訓練なしで、ビジョントランスフォーマーを4ビット精度に完全に量子化し、高い精度を維持できるか？
• RQ2 ハードウェア制約下での量子化において、LayerNorm入力のチャネル間ばらつきを効果的に管理できるか？
• RQ3 極めて非一様なアテンションマップの分布を維持しつつ、効率的な推論を可能にする量子化手法は存在するか？
• RQ4 低ビット精度下での完全に量子化されたビジョントランスフォーマーの性能上限はどこか？
• RQ5 最小限の精度損失で、完全に量子化されたトランスフォーマーでSOTAの精度を達成することは可能か？

主な発見

• FQ-ViTは、再訓練なしでViT-Lを用いてImageNetで85.17%のTop-1精度を達成した。
• Cascade Mask R-CNNを用いたSwin-SではCOCOで51.4 mAPを達成し、オブジェクト検出において優れた性能を示した。
• 完全に量子化されたビジョントランスフォーマーにおいて、わずか約1%の精度損失で、新たなSOTAを樹立した。
• Log-Int-Softmaxはビットシフト演算を用いて効率的な4ビット推論を実現しながら、アテンションマップの品質を保持した。
• Powers-of-Two Scaleは、最小限の計算オーバーヘッドでLayerNorm入力のチャネル間ばらつきを効果的に軽減した。
• 複数のビジョントランスフォーマー・アーキテクチャおよびベンチマークにおいて、精度とビット幅効率の両面で先行研究を上回った。