[論文レビュー] Structured Pruning of a BERT-based Question Answering Model

Jason S. McCarley, Rishav Chakravarti+1 more|arXiv (Cornell University)|Oct 14, 2019

Topic Modeling参考文献 36被引用数 72

ひとこと要約

この論文は、タスク固有の構造化プルーニングと蒸留を組み合わせることで BERT/RoBERTa QA モデルを圧縮でき、再事前学習なしで大幅な速度向上とほとんどの精度低下を抑えられることを示しています。

ABSTRACT

The recent trend in industry-setting Natural Language Processing (NLP) research has been to operate large %scale pretrained language models like BERT under strict computational limits. While most model compression work has focused on "distilling" a general-purpose language representation using expensive pretraining distillation, less attention has been paid to creating smaller task-specific language representations which, arguably, are more useful in an industry setting. In this paper, we investigate compressing BERT- and RoBERTa-based question answering systems by structured pruning of parameters from the underlying transformer model. We find that an inexpensive combination of task-specific structured pruning and task-specific distillation, without the expense of pretraining distillation, yields highly-performing models across a range of speed/accuracy tradeoff operating points. We start from existing full-size models trained for SQuAD 2.0 or Natural Questions and introduce gates that allow selected parts of transformers to be individually eliminated. Specifically, we investigate (1) structured pruning to reduce the number of parameters in each transformer layer, (2) applicability to both BERT- and RoBERTa-based models, (3) applicability to both SQuAD 2.0 and Natural Questions, and (4) combining structured pruning with distillation. We achieve a near-doubling of inference speed with less than a 0.5 F1-point loss in short answer accuracy on Natural Questions.

研究の動機と目的

• 業界環境で再学習せずに大規模 QA モデルの計算負荷を低減する動機づけ。
• BERT/RoBERTa QA システムのタスク固有の構造化プルーニングを開発・評価する。
• 構造化プルーニングと蒸留を組み合わせて、精度損失を最小限に抑えつつ速度アップを最大化する。
• データセット（SQuAD 2.0 と Natural Questions）およびモデル（BERT と RoBERTa）間でのプルーニング手法の転移性を評価する。
• トランスフォーマーベースの QA モデルにおけるゲート配置とプルーニング戦略のガイドラインを提供する。

提案手法

• 各トランスフォーマー層に訓練可能なゲートマスクを挿入し、アテンションヘッドとフィードフォワード活性化を選択的に無効化する。
• ランダム、ヘッド重要度ゲイン、ハードコンプリート分布を用いた L0 正則化など、ゲート決定戦略を検討する。
• ゲートを適用してアテンションヘッドとフィードフォワード部をプルーニングし、蒸留の有無にかかわらず残りのパラメータを再訓練する。
• プルーニング後もタスク固有の訓練を続け、標準的な再訓練または未プルーニングの教師モデルからの蒸留のいずれかの選択肢を用いる。
• SQuAD 2.0 および Natural Questions で BERT ベースおよび RoBERTa ベースの QA システムにプルーニングを適用し評価する。
• 非同一の層別プルーニング構造が現れることを示す（端に近い部分は軽く、中間部はより複雑になる）。

実験結果

リサーチクエスチョン

• RQ1 QA タスクにおいて BERT-base から BERT-large へタスク固有の構造化プルーニングを転移できるか？
• RQ2 BERT ベースの QA のために開発された構造化プルーニング技術は RoBERTa へ、また Natural Questions へ転移できるか？
• RQ3 構造化プルーニングと蒸留を組み合わせると、単独のプルーニングまたは蒸留よりも速度と精度のトレードオフが改善されるか？
• RQ4 QA トランスフォーマーをプルーニングする際の効果的なゲート決定戦略（ランダム、ゲイン、L0）は何か？
• RQ5 SQuAD 2.0 と Natural Questions で長文回答 vs 短文回答のパフォーマンスにプルーニングはどう影響するか？

主な発見

• L0 正則化プルーニングにより、SQuAD 2.0 での損失が 5 F1 点未満の精度低下で、注意ヘッドを最大 ~48%、フィードフォワード活性化を ~70% 程度まで大幅にプルーニングできる。
• プルーニングと継続訓練の組み合わせは、SQuAD 2.0 での精度の多くを回復し、デコード速度をほぼ2倍にする。
• Natural Questions での RoBERTa-large のプルーニングは、蒸留の恩恵を受け、速度向上と小さな F1 損失を達成する。
• プルーニング後の蒸留は追加の利得をもたらし、より大きなベースラインに近づきつつ推論を高速化したままのパフォーマンスを維持する。
• プルーニングされたモデルは非同一の層構造になりやすく、中間層が端の層よりも重く保持され、層間で非均一なプルーニングパターンを示唆する。
• プルーニング技術は RoBERTa および NQ へ転移し、モデルとデータセットに依存しない頑健性を示す。