[論文レビュー] I-BERT: Integer-only BERT Quantization

Sehoon Kim, Amir Gholami+3 more|arXiv (Cornell University)|Jan 5, 2021

Topic Modeling参考文献 86被引用数 16

ひとこと要約

I-BERTは、BERTおよびRoBERTaモデル向けに、浮動小数点演算を完全に排除し、すべての演算を整数演算のみで行うエンドツーエンドの推論を可能にする、画期的な整数のみの量子化フレームワークを提案する。非線形層（GELU、Softmax、LayerNorm）に対して軽量な多項式近似を導入することで、GLUEベンチマークにおいて同等またはわずかに向上した精度を達成するとともに、T4 GPUではFP32推論と比較して最大4.0倍の高速化を実現した。

ABSTRACT

Transformer based models, like BERT and RoBERTa, have achieved state-of-the-art results in many Natural Language Processing tasks. However, their memory footprint, inference latency, and power consumption are prohibitive efficient inference at the edge, and even at the data center. While quantization can be a viable solution for this, previous work on quantizing Transformer based models use floating-point arithmetic during inference, which cannot efficiently utilize integer-only logical units such as the recent Turing Tensor Cores, or traditional integer-only ARM processors. In this work, we propose I-BERT, a novel quantization scheme for Transformer based models that quantizes the entire inference with integer-only arithmetic. Based on lightweight integer-only approximation methods for nonlinear operations, e.g., GELU, Softmax, and Layer Normalization, I-BERT performs an end-to-end integer-only BERT inference without any floating point calculation. We evaluate our approach on GLUE downstream tasks using RoBERTa-Base/Large. We show that for both cases, I-BERT achieves similar (and slightly higher) accuracy as compared to the full-precision baseline. Furthermore, our preliminary implementation of I-BERT shows a speedup of 2.4-4.0x for INT8 inference on a T4 GPU system as compared to FP32 inference. The framework has been developed in PyTorch and has been open-sourced.

研究の動機と目的

• 大規模なNLPモデル（例：BERT）におけるエッジデバイスや整数演算専用ハードウェアにおける浮動小数点推論の非効率性を解消すること。
• 精度の低下を伴わずに、整数演算のみで非線形演算（GELU、Softmax、LayerNorm）を実行する課題を克服すること。
• 浮動小数点ユニットを搭載しないハードウェア（例：ARM Cortex-MやNVIDIA Turing Tensor Cores）にBERTに類似したモデルをデプロイ可能にする。
• モデルの精度を維持しつつ、整数専用アクセラレータ上で速度と効率を最大化する量子化スキームを開発すること。
• 最新のハードウェアにおいて、整数専用推論が混合精度推論を凌駆する遅延およびエネルギー効率を達成できることを実証すること。

提案手法

• GELUのための2次多項式近似であるi-GELUを提案し、最大誤差1.8×10⁻²で正確な整数演算を可能にする。
• 最大誤差1.9×10⁻³の軽量な多項式を用いた整数専用Softmax近似を設計する。
• 既知の整数平方根計算アルゴリズムを活用して、整数演算のみでLayerNormを実装し、浮動小数点演算を回避する。
• すべてのパラメータと活性化関数をINT8で表現し、行列乗算ではINT32の積算を用いる、完全な量子化パイプラインを統合する。
• ハイブリッド量子化戦略を採用：INT8の重みと活性化、INT32の積算、後続の再量子化を伴う整数専用の非線形演算を用いて精度を維持する。
• 計算グラフ全体で浮動小数点へのキャストを一切回避し、すべての演算を整数形式のまま維持する。

実験結果

リサーチクエスチョン

• RQ1 GELU、Softmax、LayerNormのような非線形演算を、整数演算のみで正確に近似できるか？
• RQ2 整数専用推論を用いる場合、BERTに類似したモデルの精度を維持するために許容可能な近似誤差のレベルはどの程度か？
• RQ3 T4 GPUやARMプロセッサなど、整数演算に最適化されたハードウェアにおいて、整数専用推論が顕著な高速化を達成できるか？
• RQ4 整数専用量子化は、フルプレシジョンまたは混合精度のベースラインと比較して精度の低下を引き起こすか？
• RQ5 提案されたi-GELU近似は、他の整数専用GELU近似と比較して、精度および効率の面で優れているか？

主な発見

• I-BERTは、BERT-LargeのINT8推論において、FP32推論と比較してTesla T4 GPUで最大4.0倍の推論速度向上を達成した。
• さまざまなシーケンス長およびバッチサイズにおける平均遅延の高速化は、BERT-Baseで3.08倍、BERT-Largeで3.56倍であった。
• I-BERTはGLUEの平均スコアを維持またはわずかに向上させた。RoBERTa-Baseではフルプレシジョンのベースラインと比較して0.3点高く、RoBERTa-Largeでは0.5点高いスコアを記録した。
• i-GELU近似は、4つの下流タスクの平均でh-GELU近似を0.7ポイント上回り、フルプレシジョンのGELUと比較して精度に損なわれない。
• アブレーションスタディの結果、i-GELUはh-GELUや一部のケースではフルプレシジョンのGELUでさえも上回る精度を示しており、単なる近似を超えた利点が示唆された。
• このフレームワークはPyTorchで完全にオープンソース化されており、整数専用ハードウェアへのデプロイをサポートしており、浮動小数点ユニットを搭載しないエッジデバイスでも効率的な推論を可能にする。