[論文レビュー] Hardware Acceleration of Fully Quantized BERT for Efficient Natural Language Processing

Zejian Liu, Gang Li+1 more|arXiv (Cornell University)|Mar 4, 2021

Topic Modeling参考文献 9被引用数 5

ひとこと要約

本稿では、エッジデバイス向けに効率的な推論を実現するため、完全に量子化されたBERT（FQ-BERT）モデルと、カスタムFPGAアクセラレータを提案する。重み、活性化、スケーリング係数、ソフトマックス、レイヤーノーマライゼーションを含むすべてのモデル部品を4/8ビット整数に量子化することで、FQ-BERTは最小限の精度損失で7.94倍のモデル圧縮を達成した。アクセラレータはZCU111 FPGA上で3.18 fps/Wのエネルギー効率を達成し、CPUとGPUに比べて性能/ワットで28.91倍と12.72倍の優位性を示した。

ABSTRACT

BERT is the most recent Transformer-based model that achieves state-of-the-art performance in various NLP tasks. In this paper, we investigate the hardware acceleration of BERT on FPGA for edge computing. To tackle the issue of huge computational complexity and memory footprint, we propose to fully quantize the BERT (FQ-BERT), including weights, activations, softmax, layer normalization, and all the intermediate results. Experiments demonstrate that the FQ-BERT can achieve 7.94x compression for weights with negligible performance loss. We then propose an accelerator tailored for the FQ-BERT and evaluate on Xilinx ZCU102 and ZCU111 FPGA. It can achieve a performance-per-watt of 3.18 fps/W, which is 28.91x and 12.72x over Intel(R) Core(TM) i7-8700 CPU and NVIDIA K80 GPU, respectively.

研究の動機と目的

• リソース制約のあるエッジデバイス（例：FPGA）上で効率的なBERT推論を可能にすること。
• すべてのパラメータと中間結果を完全に量子化することで、モデルサイズと計算複雑性を低減すること。
• 実行時における8/4ビットおよび8/8ビット計算をサポートする、混合精度整数演算を実装したハードウェアに最適化されたアクセラレータの設計。
• CPUおよびGPUと比較して、FPGAプラットフォーム上で高いエネルギー効率と性能/ワットを達成すること。
• 標準的なNLPベンチマーク上で、量子化精度、モデル圧縮、精度のトレードオフを評価すること。

提案手法

• 活性化統計のEMAを用いてスケーリング係数を導出することで、重みと活性化のための対称的線形量子化を提案する。
• バイアス、スケーリング係数、ソフトマックス、レイヤーノーマライゼーションの統一的量子化スキームを固定小数点表現を用いて導入する。
• 実行時における動的再構成を可能にするビット単位の再構成可能乗算器をアクセラレータに実装し、8/4ビットおよび8/8ビット乗算をサポートする。
• タスクレベルスケジューリングを採用したドット積ベースのプロセッシング要素（PE）アーキテクチャを設計し、外部メモリ転送と計算を重ね合わせる。
• Xilinx ZCU102およびZCU111 MPSoCプラットフォーム上でアクセラレータを実装するため、ハイレベル合成（Vivado HLS）を用いる。
• 2段階の量子化トレーニングパイプラインを適用：まず全精度BERTで事前学習を行い、その後量子化関数を用いた微調整により精度を維持する。

Figure 1: Left: the overall BERT architecture; middle: the architecture of multi-head self-attention module; right: the architecture of scaled dot-product attention layer.

実験結果

リサーチクエスチョン

• RQ1 すべてのBERT部品（重み、活性化、スケーリング係数、ソフトマックス、レイヤーノーマライゼーション）を完全に量子化することで、高いモデル圧縮と最小限の精度低下を達成できるか？
• RQ2 FQ-BERT用のFPGAベースアクセラレータの性能/ワットは、標準的なNLPワークロードにおいてCPUおよびGPUと比較してどの程度優れているか？
• RQ3 ソフトマックスやレイヤーノーマライゼーションなどの異なる部品を量子化することで、全体のモデル精度にどのような影響を与えるか？
• RQ4 タスクレベルスケジューリングと部分的重みロードは、FPGA上でメモリアクセスと計算を効果的に重ね合わせられるか？
• RQ5 PEおよび乗算器の数を増加させた場合、アクセラレータのスケーラビリティはどの程度か？

主な発見

• FQ-BERTはSST-2データセットで0.81%の精度低下、MNLIで3.08%の精度低下を伴いながらも7.94倍のモデル圧縮比を達成した。
• アブレーションスタディでは、ソフトマックスとレイヤーノーマライゼーションの量子化により精度が91.28%から91.86%に向上した。これは、重みと活性化の量子化に加え、他の部品の量子化にも利点がある可能性を示唆している。
• ZCU111 FPGA上でのFPGAアクセラレータは3.18 fps/Wのエネルギー効率を達成し、Intel i7-8700 CPUに比べ28.91倍、NVIDIA K80 GPUに比べ12.72倍の性能/ワットを示した。
• ZCU111における遅延はシングルシーケンスで23.79 ms、消費電力は13.2Wであり、CPU（145.06 ms、65W）およびGPU（27.84 ms、143W）に比べ顕著に優れていた。
• ZCU111のBIMユニットで乗算器の数を2倍にしたところ、遅延は23.79 msから12.03 msに短縮され、強力なスケーラビリティが示された。
• 16個のPEおよび16個の乗算器を搭載したZCU111上では、アクセラレータは679個のBRAM18Kおよび3287個のDSP48Eスライスを消費しており、高スルーレット推論に向けた効率的なリソース利用が実現された。

Figure 2: The overall architecture of the proposed accelerator for fully quantized BERT.