[論文レビュー] GOBO: Quantizing Attention-Based NLP Models for Low Latency and Energy Efficient Inference

Ali Hadi Zadeh, Isak Edo+2 more|arXiv (Cornell University)|May 7, 2020

Topic Modeling参考文献 50被引用数 157

ひとこと要約

GOBO は、注意機構を備えた NLP モデル（例：BERT）の 32 ビット浮動小数点パラメータの 99.9% を、独自の重心選択アルゴリズムを用いて 3 ビットに圧縮する後処理型量子化技術であり、微調整を必要とせず精度を維持する。これにより、モデルサイズを 10 倍に縮小し、ハードウェアアクセラレータで計算中に重みを量子化した状態で保持することで、オフチップメモリトラフィックを削減し、最大 7 倍の高速化と 3 倍の省エネルギーを実現する。

ABSTRACT

Attention-based models have demonstrated remarkable success in various natural language understanding tasks. However, efficient execution remains a challenge for these models which are memory-bound due to their massive number of parameters. We present GOBO, a model quantization technique that compresses the vast majority (typically 99.9%) of the 32-bit floating-point parameters of state-of-the-art BERT models and their variants to 3 bits while maintaining their accuracy. Unlike other quantization methods, GOBO does not require fine-tuning nor retraining to compensate for the quantization error. We present two practical hardware applications of GOBO. In the first GOBO reduces memory storage and traffic and as a result inference latency and energy consumption. This GOBO memory compression mechanism is plug-in compatible with many architectures; we demonstrate it with the TPU, Eyeriss, and an architecture using Tensor Cores-like units. Second, we present a co-designed hardware architecture that also reduces computation. Uniquely, the GOBO architecture maintains most of the weights in 3b even during computation, a property that: (1) makes the processing elements area efficient, allowing us to pack more compute power per unit area, (2) replaces most multiply-accumulations with additions, and (3) reduces the off-chip traffic by amplifying on-chip memory capacity.

研究の動機と目的

• 注意機構を備えた NLP モデル（例：BERT）の高コストなメモリとエネルギー消費を低減すること。これらのモデルは、膨大なパラメータ数のため、主にメモリ制限を受ける。
• 量子化後に微調整や再訓練を必要とせず、モデルの精度を維持する量子化手法を開発すること。
• 重みを量子化した状態で計算を実行することで、低遅延かつエネルギー効率の高い推論を実現し、モデルパラメータを圧縮するとともに、直接量子化された重みで動作するハードウェアアクセラレータを共同設計すること。
• TPU、Eyeriss、Tensor Core に類似したアーキテクチャを含む、複数のアーキテクチャにおいて、ハードウェア互換性と性能向上を実証すること。
• 計算中に重みを 3 ビット形式のまま保持することで、面積効率の向上、オフチップ通信の削減、および多数の乗算累積演算を加法演算に置き換えることの利点を示すこと。

提案手法

• GOBO は、各レイヤーの 99.9% の重みがガウス分布に従うのに対し、0.1% が外れ値であることに着目する。
• 外れ値の重みは 32 ビット精度そのままで保存し、残りの重みにはたった 8 個の代表値（重心）からなる辞書を用いる。
• 量子化誤差を最小限に抑えるために、非外れ値の重みを量子化されたビンにグループ化する、新規で収束が速い重心選択アルゴリズムを採用する。
• 計算中に量子化された重みを再び 32 ビット浮動小数点値に展開することを回避し、3 ビット形式のままオンチップで処理を実行可能にする。
• 3 ビット重みで直接計算を実行するハードウェアアクセラレータを共同設計し、多数の乗算累積演算を加法演算に置き換える。
• ハードウェア設計により、オンチップメモリ容量を増加させ、圧縮された重みを計算全体にわたり維持することで、オフチップデータ移動を削減する。

実験結果

リサーチクエスチョン

• RQ1 微調整を必要とせず、BERT の 32 ビットパラメータの 99.9% を 3 ビットに圧縮する後処理型量子化手法は、精度を維持できるか？
• RQ2 計算中に重みを 3 ビット形式のまま保持することで、従来のアクセラレータと比較してエネルギー効率と性能がどのように向上するか？
• RQ3 オフチップメモリに適用した GOBO 圧縮が、推論遅延とエネルギー消費に与える影響は何か？
• RQ4 新規の重心選択アルゴリズムは、K-Means と比較して収束速度と精度でどのように優れているか？
• RQ5 GOBO を用いた共同設計されたハードウェアアクセラレータは、同等の計算面積制約下で、既存の Tensor Core に類似したアーキテクチャを上回る性能とエネルギー効率を達成できるか？

主な発見

• GOBO は、GLUE の挑戦的タスク MNLI において、微調整を必要とせず、99.9% の重みを 3 ビットに量子化しながらもモデルの精度を維持する。
• 重心選択アルゴリズムは K-Means より 9 倍速く収束し、必要な重心数を半分に削減することで、圧縮効率を向上させる。
• オフチップメモリの圧縮により、モデルのフットプリントが 10 倍に縮小され、TPU では 10 倍の性能向上が達成された。
• 同等の計算面積制約下で、GOBO アクセラレータは Tensor Core に類似したアクセラレータ比で 7 倍高速で、エネルギー消費は 3 倍低減した。
• FP16 精度下で、GOBO は IBM のディープラーニングプロセッサ（DLP）比で 2.85 倍高速かつ 6.8 倍エネルギー効率に優れ、DLP+GOBO 圧縮では 2.4 倍のエネルギー効率向上を達成した。
• GOBO アクセラレータは、オフチップメモリトラフィックの削減とオンチップメモリ拡張により、プロセッサエンジン（PE）の利用率が 83% に達したのに対し、IBM DLP では 34% にとどまった。