[論文レビュー] Attention-Guided Answer Distillation for Machine Reading Comprehension

Minghao Hu, Yuxing Peng+5 more|arXiv (Cornell University)|Aug 23, 2018

Topic Modeling参考文献 29被引用数 14

ひとこと要約

本稿では、アンサンブル機械読解（MRC）モデルを1つの効率的な学生モデルに圧縮するとともに、耐性を向上させるためのアテンション誘導型回答 distillation を提案する。ヴァニラ知識蒸留、回答蒸留（誤解を招く回答をペナルティ化）、アテンション蒸留（アテンション分布の一致を図る）を適用することで、学生モデルはSQuADでF1スコアが0.4%低下するのみで12倍高速な推論を達成し、敵対的SQuADおよびNarrativeQAベンチマークでも教師モデルを上回る性能を示した。

ABSTRACT

Despite that current reading comprehension systems have achieved significant advancements, their promising performances are often obtained at the cost of making an ensemble of numerous models. Besides, existing approaches are also vulnerable to adversarial attacks. This paper tackles these problems by leveraging knowledge distillation, which aims to transfer knowledge from an ensemble model to a single model. We first demonstrate that vanilla knowledge distillation applied to answer span prediction is effective for reading comprehension systems. We then propose two novel approaches that not only penalize the prediction on confusing answers but also guide the training with alignment information distilled from the ensemble. Experiments show that our best student model has only a slight drop of 0.4% F1 on the SQuAD test set compared to the ensemble teacher, while running 12x faster during inference. It even outperforms the teacher on adversarial SQuAD datasets and NarrativeQA benchmark.

研究の動機と目的

• 最先端のMRCシステムがしばしば複数モデルのアンサンブルに依存するため、非効率で敵対的攻撃に対して脆弱であるという問題に対処する。
• 知識蒸留を用いてアンサンブルモデルを1つの効率的で頑健な学生モデルに圧縮する手法を調査する。
• 教師モデルが誤解を招く回答に対して過信して予測する「バイアス付き蒸留」を是正する。
• 出力分布の転送に加え、アテンションベースの一致とダミー認識型の監視を統合することで、学生モデルの一般化性能と頑健性を向上させる。

提案手法

• アンサンブル教師モデルと単一の学生モデルの間で、回答スパンのソフトラベル分布の交差エントロピーを最小化することで、ヴァニラ知識蒸留を適用する。
• 教師の最も強いダミー予測に基づき、最も誤解を招く回答スパンに対する学生の予測をマージン損失でペナルティ化する「回答蒸留」を導入する。
• 教師と学生モデル間のアテンション分布を平均二乗誤差で一致させる「アテンション蒸留」を提案し、一致度と解釈可能性を向上させる。
• アンサンブルモデルのアテンションマップと回答境界確率を活用して学生の学習をガイドすることで、効率性と頑健性の両方を向上させる。
• 出力蒸留、回答蒸留、アテンション蒸留の3つの蒸留コンポonentを統合した一貫した学習目的関数を構築する。
• 回答スパンの交差エントロピー損失、誤った回答のマージン損失、アテンション一致のMSE損失を重み付きで組み合わせ、学生モデルをエンドツーエンドで訓練する。

実験結果

リサーチクエスチョン

• RQ1 知識蒸留は、性能を保持したままアンサンブルMRCモデルを1つのモデルに圧縮するのに有効か？
• RQ2 教師モデルが意味的に矛盾するダミーを過信して予測する「バイアス付き蒸留」を、蒸留プロセスでどのように是正できるか？
• RQ3 アテンション蒸留により、教師からアテンションパターンを転送することで、学生モデルの一般化性能が向上するか？
• RQ4 蒸留により、特に分布外設定における敵対的例に対する頑健性が向上するか？
• RQ5 1つの蒸留済みモデルが、効率性と頑健性の両面で元のアンサンブル教師モデルを上回ることができるか？

主な発見

• 最良の学生モデルは、SQuADテストセットにおいて教師アンサンブルと比較してF1スコアが0.4%低下するのみで、推論時に12倍高速に動作した。
• 蒸留済みの学生モデルは敵対的SQuADデータセットで教師モデルを上回り、敵対的例に対する耐性が向上したことを示した。
• NarrativeQAベンチマークでは、学生モデルがBleu-1スコアで教師を上回り、オープンドメインの質問に対してより優れた生成品質を示した。
• 回答蒸留により、学生モデルの誤解を招く回答スパンに対する自信が低下し、バイアスのある教師信号による誤った過信予測が防止された。
• アテンション蒸留により、学生モデルの質問と文書トークンの一致能力が向上し、より正確で解釈可能なアテンションパターンが得られた。
• 3つの蒸留コンポーネントを併用した結果、最良の全体的性能が達成され、出力、誤った回答、アテンションからの補完的監視がモデルの一般化性能を向上させた。