[論文レビュー] Improving Machine Reading Comprehension via Adversarial Training

Ziqing Yang, Yiming Cui+4 more|arXiv (Cornell University)|Nov 9, 2019

Adversarial Robustness in Machine Learning参考文献 33被引用数 8

ひとこと要約

本稿では、機械読解（MRC）モデルの性能向上を目的として、 adversarial training (AT) と virtual adversarial training (VAT) を提案している。spanベースおよび複数選択型MRCタスクの両方で一貫した性能向上を示しており、ATは特に希少語を含む例においてモデルの一般化性能を向上させる。一方、VATは異なるタスクのデータを用いた有効な半教師あり学習を可能にするが、知識を組み込んだ敵対的例に対する耐性は向上しない。

ABSTRACT

Adversarial training (AT) as a regularization method has proved its effectiveness in various tasks, such as image classification and text classification. Though there are successful applications of AT in many tasks of natural language processing (NLP), the mechanism behind it is still unclear. In this paper, we aim to apply AT on machine reading comprehension (MRC) and study its effects from multiple perspectives. We experiment with three different kinds of RC tasks: span-based RC, span-based RC with unanswerable questions and multi-choice RC. The experimental results show that the proposed method can improve the performance significantly and universally on SQuAD1.1, SQuAD2.0 and RACE. With virtual adversarial training (VAT), we explore the possibility of improving the RC models with semi-supervised learning and prove that examples from a different task are also beneficial. We also find that AT helps little in defending against artificial adversarial examples, but AT helps the model to learn better on examples that contain more low-frequency words.

研究の動機と目的

• 異なるMRCタスクにおいて adversarial training (AT) の有効性を検証すること。
• 異なるタスクのデータを用いたMRCにおける半教師あり学習の可能性を、virtual adversarial training (VAT) を用いて探ること。
• ATが人為的に構築された敵対的例、特に人間の知識を組み込んだものに対してモデルの耐性を高めるかどうかを評価すること。
• ATが語彙的難易度の異なる例、特に希少語を含むものに対するモデル性能に与える影響を分析すること。

提案手法

• adversarial training (AT) は、訓練中に単語埋め込みを摂動することで、モデルの耐性および一般化性能を向上させる。
• virtual adversarial training (VAT) は、ラベルなしデータから敵対的例を生成することで、異なるタスク間でも半教師あり学習を可能にする。
• BERT-base および BERT-large をベースモデルとし、spanベース、unanswerable-question-aware、複数選択型MRCタスクに適応して微調整する。
• モデルの性能は、SQuAD1.1、SQuAD2.0、RACE データセットで評価され、希少語頻度および敵対的例の種別に関するアブレーションスタディが実施される。
• 例は、訓練データ内で上位10,000語が最も頻度が低い語の割合に基づき語彙的難易度でグループ化され、各バケットごとの性能が分析される。
• 外部知識（例：WordNet）を用いて人為的な敵対的例を構築し、特にunanswerableな質問に対する耐性をテストする。

実験結果

リサーチクエスチョン

• RQ1 adversarial training は、spanベースおよび複数選択型読解を含む、さまざまなMRCタスクにおいて一貫して性能を向上させるか？
• RQ2 virtual adversarial training は、異なるタスクのデータを用いる場合でも、MRCにおける半教師あり学習を有効に可能にするか？
• RQ3 adversarial training は、人間の知識を組み込んだ人為的敵対的例に対してMRCモデルの耐性を高めるか？
• RQ4 adversarial training は、語彙的複雑さの異なる例、特に希少語を多く含むものに対してモデル性能にどのように影響を与えるか？

主な発見

• adversarial training は、評価されたすべてのMRCタスクで顕著な性能向上を示し、SQuAD1.1、SQuAD2.0、RACE で一貫した向上を確認。一般化能力が裏付けられた。
• virtual adversarial training は、有効な半教師あり学習を可能にし、ラベルなしデータ、特に異なるタスクからの例を活用できる。特にunanswerableな質問の性能向上に寄与する。
• adversarial training は、知識を組み込んだ敵対的例に対する耐性を向上させない。ATで訓練されたモデルは、このような例に対して僅かな相対的向上（限定的）を示すにとどまり、防御能力は限定的である。
• adversarial training は、語彙的難易度が最も高い例、特に希少語の割合が多いもので最も顕著な相対的性能向上を示す。特に希少語割合が0.05を超える最も困難なバケットで最大の向上が観察された。
• unanswerableな質問に対するATの相対的向上は、回答可能な質問よりも顕著であり、no-answer検出タスクにおける希少語への感受性がより高いことを示唆している。
• adversarial training による性能向上は、語彙的難易度が高い例で最も顕著であり、最も困難なバケット（難易度 >0.05）では最大2.2%の相対的向上が観察された。特にunanswerable質問検出タスクで顕著である。