[論文レビュー] Understanding INT4 Quantization for Transformer Models: Latency Speedup, Composability, and Failure Cases

Xiaoxia Wu, Cheng Li+3 more|arXiv (Cornell University)|Jan 27, 2023

Ferroelectric and Negative Capacitance Devices被引用数 6

ひとこと要約

本稿は、トランスフォーマー言語モデルにおけるINT4量子化（W4A4）を調査し、エンコーダー単体（BERT）およびエンコーダー・デコーダー（BART）モデルではほぼゼロの精度損失を示すが、デコーダー単体（GPT）モデルでは顕著な性能低下を確認した。また、レイテンシ最適化とスループット最適化の両方をサポートする、高度に最適化されたエンドツーエンドのINT4推論パイプラインを提案し、FP16ベースの実装と比較して最大8.5倍のレイテンシ高速化、SOTAのINT8推論と比較して1.7倍の性能向上を達成した。さらに、失敗事例の分析と、スプライシングおよびレイヤー削減との組み合わせ可能性についても検討した。

ABSTRACT

Improving the deployment efficiency of transformer-based language models has been challenging given their high computation and memory cost. While INT8 quantization has recently been shown to be effective in reducing both the memory cost and latency while preserving model accuracy, it remains unclear whether we can leverage INT4 (which doubles peak hardware throughput) to achieve further latency improvement. In this study, we explore the feasibility of employing INT4 weight and activation (W4A4) quantization for language models. Our findings indicate that W4A4 quantization introduces no to negligible accuracy degradation for encoder-only and encoder-decoder models, but causes a significant accuracy drop for decoder-only models. To materialize the performance gain using W4A4, we develop a highly optimized end-to-end W4A4 encoder inference pipeline supporting different quantization strategies. Our INT4 pipeline is $8.5 imes$ faster for latency-oriented scenarios and up to $3 imes$ for throughput-oriented scenarios compared to the inference of FP16, and improves the SOTA BERT INT8 performance from FasterTransformer by up to $1.7 imes$. We provide insights into the failure cases when applying W4A4 to decoder-only models, and further explore the compatibility of INT4 quantization with other compression methods, like pruning and layer reduction.

研究の動機と目的

• トランスフォーマー基盤の言語モデルにおけるW4A4量子化（4ビット重みおよび活性化）の実現可能性を評価すること。特に、精度損失の程度に注目する。
• レイテンシ指向およびスループット指向のワークロードの両方をカバーできる、高性能で最適化されたエンドツーエンドのINT4推論パイプラインを、エンコーダーモデル向けに開発すること。
• W4A4量子化下で顕著な精度低下を示すデコーダー単体モデル（例：GPT）の原因を特定すること。
• スプライシングやレイヤー削減などの他の圧縮技術と組み合わせた際の、INT4量子化の組み合わせ可能性を調査すること。
• 現代のGPUにおけるINT4計算の高いスループットを活用することで、既存のSOTA INT8推論性能を上回ること。

提案手法

• BERTおよびBARTモデルにおけるW4A4量子化を可能にするために、レイヤー単位の知識蒸留と量子化感知学習（QAT）を組み合わせた手法を採用する。
• 重みおよび活性化の量子化による精度損失を最小限に抑えるために、動的レンジキャリブレーションとクリッピングを用いたポスト量子化技術を適用する。
• CUDAカーネルとテンソルコアを活用したモジュラ構造の高度に最適化されたINT4推論パイプラインを設計し、レイテンシまたはスループット最適化に適した複数の量子化戦略をサポートする。
• 残差接続には完全なFP16精度を維持する一方で、アテンションおよびフィードフォワードネットワークを含むすべての線形レイヤーに対して量子化を適用する。
• デコーダーモデルにおける障害モードを特定するために、レイヤー正規化、事前学習効果、アテンション機構のアブレーションスタディを実施する。
• スプライシングおよびレイヤー削減との組み合わせ可能性を評価するため、W4A4に50%の重みスパarsity（Ampereアーキテクチャ準拠）と25%のレイヤー削減を組み合わせ、精度とパフォーマンスのトレードオフを測定する。

実験結果

リサーチクエスチョン

• RQ1 W4A4量子化は、エンコーダー単体（BERT）、エンコーダー・デコーダー（BART）、およびデコーダー単体（GPT）のトランスフォーマー・モデルに、許容可能な精度損失で適用可能か？
• RQ2 W4A4量子化下で顕著な精度低下を示すデコーダー単体モデルにおける主な原因は何か？
• RQ3 現代のGPUハードウェア上で、レイテンシおよびスループットの両面で最大限の向上を達成できるように、エンドツーエンドのINT4推論パイプラインをどのように設計できるか？
• RQ4 スプライシングやレイヤー削減などの他の圧縮技術と組み合わせた場合、INT4量子化はどの程度の性能低下なしに組み合わせ可能か？
• RQ5 提案されたINT4パイプラインは、既存のSOTA INT8実装を上回る推論パフォーマンスを達成できるか？

主な発見

• W4A4量子化は、分類および要約タスクにおいて、エンコーダー単体（BERT）およびエンコーダー・デコーダー（BART）モデルで、精度損失がなく、または無視できる程度にとどまる。
• デコーダー単体モデル（例：GPT）は、W4A4量子化下で顕著な精度低下を示し、特に自己回帰的生成タスクで顕著である。
• 提案されたINT4推論パイプラインは、HuggingFaceのFP16推論と比較して、レイテンシ指向のシナリオで最大8.5倍の高速化、スループット指向のシナリオで最大3倍の高速化を達成した。
• FasterTransformerのSOTA BERT INT8性能を最大1.7倍向上させた。これは、INT4計算がINT8計算よりも高いスループットを発揮することで得られる性能向上を示している。
• レイヤー削減の実験では、9層のW4A4 BARTモデル（6エンコーダー、3デコーダー）が、CNNDailyMailタスクで完全な12層モデルの99.4%の性能を維持した。
• 組み合わせ可能性の実験では、W4A4に50%のスパarsityを組み合わせた場合、GLUEスコアで約0.5ポイントの低下にとどまり、25%のレイヤー削減では要約タスクにおいて精度が大きく変化しなかった。