[論文レビュー] Making Neural Machine Reading Comprehension Faster

Debajyoti Chatterjee|arXiv (Cornell University)|Mar 29, 2019

Topic Modeling参考文献 39被引用数 6

ひとこと要約

本論文は、BERTをより小型で効率的なアーキテクチャに圧縮する知識蒸留を用いて、より高速なニューラル機械読解モデルを提案する。圧縮手法により、畳み込みモデル（CONV MODEL）と微調整されたBERT-smallバージョン（BERT SMALL）が得られる。CONV MODELは774サンプル/秒の推論速度で79.80 F1を達成した。一方、BERT SMALLは217サンプル/秒の推論速度で85.57 F1を達成し、速度と精度のトレードオフにおいて、既存のモデルを著しく上回った。

ABSTRACT

This study aims at solving the Machine Reading Comprehension problem where questions have to be answered given a context passage. The challenge is to develop a computationally faster model which will have improved inference time. State of the art in many natural language understanding tasks, BERT model, has been used and knowledge distillation method has been applied to train two smaller models. The developed models are compared with other models which have been developed with the same intention.

研究の動機と目的

• リアルタイムデプロイメントを可能にする計算コストが低いニューラル機械読解（MRC）モデルの開発。
• 長文の文脈に対して特に遅延が大きいRNNベースや自己注意メカニズムを重視するモデル（例：BERT）の推論速度の遅さに対処すること。
• 知識蒸留を活用してモデル容量を増大させることなく、答えの正確性を損なわず推論効率を向上させること。
• RNNとは異なり、畳み込みアーキテクチャがMRCにおいて代替手段として有効であるかを検証すること。
• SQuADベンチマーク上で、蒸留されたBERTと畳み込みモデルの性能と速度のトレードオフを評価すること。

提案手法

• 局所的およびグローバルな文脈を捉えるために、マルチウィンドウ畳み込み層を用いてCONV MODELを訓練し、RNNと自己注意メカニズムの代わりにCNNを採用する。
• 長距離依存関係をモデル化するために、マルチウィンドウ畳み込みの後にTransformerエンコーダ層を統合する。
• より大きなモデル（BERT BASE）から知識を蒸留し、小型モデル（CONV MODELおよびBERT SMALL）に知識を転送する。
• 一般化を向上させるとともに過学習を軽減するために、教師モデル（BERT BASE）のソフトラベルを訓練中に活用する。
• ADAM最適化法を用い、線形ウォームアップとコサインスケジュールに従う学習率スケジュール、L2重み減衰、ドロップアウトを適用してモデルを最適化する。
• 文脈のパassage内での答えの開始位置と終了位置を予測するスパン予測層を実装する。

実験結果

リサーチクエスチョン

• RQ1 畳み込みニューラルネットワークアーキテクチャは、RNNベースや自己注意のみのモデルと比較して、MRCにおいてより高速な推論速度を達成できるか？
• RQ2 知識蒸留は、モデル容量を増加させないまま、小型モデルの性能をどの程度向上させられるか？
• RQ3 マルチウィンドウ畳み込み層は、単一の7キーネルサイズの畳み込みと比較して、F1スコアおよび頑健性においてどのように異なるか？
• RQ4 6層のみの蒸留BERTモデル（BERT SMALL）は、モデル容量を大幅に削減しながらも、BERT BASEに近い性能を達成できるか？
• RQ5 さまざまなMRCモデルアーキテクチャにおいて、推論速度と答えの正確性のトレードオフはどのように変化するか？

主な発見

• CONV MODELは774サンプル/秒の推論速度でF1スコア79.80を達成し、FABIR（672サンプル/秒）やQANet（163サンプル/秒）を上回る速度性能を示した。
• BERT SMALLは、テストされたすべてのモデルの中で最高のF1スコア85.57を記録し、6層という限定的な構成にもかかわらず、教師モデル（88.32）の性能に非常に近い水準に達した。
• マルチウィンドウ畳み込み層は、単一の7キーネルサイズ畳み込みと比較してF1スコアを1.33ポイント向上させ、多様なn-gramパターンを捉える利点を示した。
• 知識蒸留により、CONV MODELのF1スコアは蒸留なしの72.33から79.80に上昇し、過学習が軽減され一般化性能が向上した。
• BERT SMALLは、BERT BASEと比較して計算コストを約半分に削減しながらも、優れた性能を維持した。
• 単一の7キーネル畳み込みを用いたCONV MODELは、829サンプル/秒という最速の推論速度を達成したが、フルバージョンのCONV MODELと比較してF1スコアが1.33ポイント低下した。