[論文レビュー] PoWER-BERT: Accelerating BERT Inference via Progressive Word-vector Elimination

Saurabh Goyal, Anamitra R. Choudhury+4 more|arXiv (Cornell University)|Jan 24, 2020

Topic Modeling被引用数 52

ひとこと要約

PoWER-BERT は 自己注意に導かれて 冗長な語ベクトル（中間エンコーダ出力）を段階的に排除することで BERT 推論時間を短縮し、GLUE タスクで最大 4.5x のスピードアップと <1% の精度損失を達成、ALBERT では同様の精度損失で最大 6.8x のスピードアップを実現。

ABSTRACT

We develop a novel method, called PoWER-BERT, for improving the inference time of the popular BERT model, while maintaining the accuracy. It works by: a) exploiting redundancy pertaining to word-vectors (intermediate encoder outputs) and eliminating the redundant vectors. b) determining which word-vectors to eliminate by developing a strategy for measuring their significance, based on the self-attention mechanism. c) learning how many word-vectors to eliminate by augmenting the BERT model and the loss function. Experiments on the standard GLUE benchmark shows that PoWER-BERT achieves up to 4.5x reduction in inference time over BERT with &lt;1% loss in accuracy. We show that PoWER-BERT offers significantly better trade-off between accuracy and inference time compared to prior methods. We demonstrate that our method attains up to 6.8x reduction in inference time with &lt;1% loss in accuracy when applied over ALBERT, a highly compressed version of BERT. The code for PoWER-BERT is publicly available at https://github.com/IBM/PoWER-BERT.

研究の動機と目的

• 再学習やモデルサイズの変更なしに BERT 推論時間を短縮する動機づけ。
• 拡散過程が生み出す新しい冗長性の種類として、語ベクトル（中間エンコーダ出力）を特定する。
• エンコーダ間で語ベクトルを選択・保持する動的で自己注意に導かれた手法を開発する。
• 正確性を保ちながら、各エンコーダで保持する語ベクトルの数を指定する保持設定を学習する。

提案手法

• BERT の自己注意における情報の拡散を利用して、エンコーダ間で語ベクトルを段階的に除去することを正当化する。
• 各エンコーダで保持する語ベクトルの数を規定する保持設定 (\u0013ell_1,...,\u0013ell_{12}) を定義する。
• アテンションを用いて語ベクトルの重要度スコアを計算する: Sig_h(w)=sum_w' A_h[w',w], Sig(w)=sum_h Sig_h(w)。
• ソフト抽出レイヤを導入し、語ベクトルをその重要度の並び順に応じて緩やかにスケールする保持パラメータ r_j[k]（[0,1] の範囲）を学習する。
• 訓練は3段階で行う: (1) BERT をファインチューニング; (2) ソフト抽出レイヤと λ 正則化損失を用いた設定探索で mass と retention を導出; (3) ハード抽出に置換して再訓練。
• 損失を問合せる: L(Θ,r) + λ * sum_j j * mass(j;r), where mass(j;r)=sum_k r_j[k], to obtain a monotone retention configuration.

実験結果

リサーチクエスチョン

• RQ1 語ベクトルは、エンコーダ全体を削除するのではなく、安全に削除して推論を高速化できるのか、精度を損なわずに実現できるのか。
• RQ2 注意機構由来の重要度は、削除した語ベクトルが予測に与える影響を最小限に抑えることを正確に識別できるのか。
• RQ3 学習された保持設定は、入力ごとにエンコーダごとに保持する語ベクトルの数を適応的に決定できるのか。
• RQ4 PoWER-BERT はエンコーダ剪定のベースラインや圧縮モデル（例: ALBERT）と比較して、精度と推論時間のトレードオフでどうなるのか。

主な発見

データセット	BERT BASE テスト精度	PoWER-BERT テスト精度	BERT BASE 推論時間 (ms)	PoWER-BERT 推論時間 (ms)	スピードアップ
CoLA	52.5	52.3	898	201	4.5x
RTE	68.1	67.4	3993	1189	3.4x
QQP	71.2	70.2	1833	405	4.5x
MRPC	88.7	88.1	1798	674	2.7x
SST-2	93.0	92.1	905	374	2.4x
MNLI-m	84.6	83.8	1867	725	2.6x
MNLI-mm	84.0	83.1	1881	908	2.1x
QNLI	91.0	90.1	1848	916	2.0x
STS-B	85.8	85.1	881	448	2.7x
IMDB	93.5	92.5	9110	3419	2.0x
RACE	66.9	66.0	20040	10110	2.0x

• PoWER-BERT は GLUE タスクで BERT BASE より最大 4.5x 高速化を実現し、<1% の精度損失。
• ALBERT では PoWER-BERT が最大 6.8x の速度アップを実現し、GLUE タスクで同様の精度損失。
• 動的かつ注意ベースの語ベクトル選択（Attn-WS）は、静的な（Head-WS、Rand-WS）戦略より優れており、特に長い入力で顕著。
• 学習された保持設定はエンコーダ間で語ベクトルを段階的に削除しつつ、CLS ベースの意思決定経路（CLS は排除されない）を維持。
• DistilBERT、BERT-PKD、Head-Prune と比較して、PoWER-BERT は複数の GLUE データセットで精度と推論時間のパレート前線を上回る。
• コードは公開されており、再現性と実運用パイプラインへの統合が可能。