[論文レビュー] A Self-Training Method for Machine Reading Comprehension with Soft Evidence Extraction

Yilin Niu, Fangkai Jiao+4 more|arXiv (Cornell University)|May 11, 2020

Topic Modeling参考文献 42被引用数 4

ひとこと要約

本論文は、黄金ラベルが利用できない状況下でも、ベースモデルの予測を用いて繰り返し自己学習的に柔らかい証拠ラベルを生成・精錬することで、証拠抽出を向上させる自己学習手法（STM）を提案する。この手法は、抽出的および非抽出的MRCタスクにおける7つのデータセットで性能を向上させ、CoQAでは最大+40%の証拠抽出精度向上を達成し、さまざまなMRCタスクおよびBERTやRoBERTaといったベースモデルにおいても、強力な汎用性と一般化性能を示している。

ABSTRACT

Neural models have achieved great success on machine reading comprehension (MRC), many of which typically consist of two components: an evidence extractor and an answer predictor. The former seeks the most relevant information from a reference text, while the latter is to locate or generate answers from the extracted evidence. Despite the importance of evidence labels for training the evidence extractor, they are not cheaply accessible, particularly in many non-extractive MRC tasks such as YES/NO question answering and multi-choice MRC. To address this problem, we present a Self-Training method (STM), which supervises the evidence extractor with auto-generated evidence labels in an iterative process. At each iteration, a base MRC model is trained with golden answers and noisy evidence labels. The trained model will predict pseudo evidence labels as extra supervision in the next iteration. We evaluate STM on seven datasets over three MRC tasks. Experimental results demonstrate the improvement on existing MRC models, and we also analyze how and why such a self-training method works in MRC. The source code can be obtained from https://github.com/SparkJiao/Self-Training-MRC

研究の動機と目的

• YES/NO QA やマルチチョイスMRCなどの非抽出的MRCタスクにおいて、黄金証拠ラベルが限られている、あるいは利用できないという課題に対処すること。
• 外部リソースや手動アノテーションに依存せず、ラベル効率の高い一般化可能な手法を開発し、証拠抽出を向上させること。
• 自己学習を通じて、前回の反復で得られた疑似ラベルが次のモデル更新を監視する反復的精錬を可能にすること。
• BERT や RoBERTa を含む多様なMRCタスクおよびベースモデルにおいて、この手法の有効性と安定性を評価すること。
• 自己学習ループ内での誤り伝搬と自己補正ダイナミクスを分析し、耐障害性を確保すること。

提案手法

• 本手法は反復的な自己学習ループを採用する：各反復で、ベースMRCモデルが黄金回答と、前回の反復から得られたノイズの多い疑似証拠ラベルを用いて学習される。
• 疑似証拠ラベルは、各学習ステップ後にモデル自身が生成され、時間経過とともに証拠抽出の精度が向上するフィードバックループを形成する。
• 証拠抽出部は、自動生成されたラベルによって監視されるため、人手によるアノテーションが不要なエンドツーエンド学習が可能になる。
• 本手法は、BERT や DSQA を含む任意のMRCモデルアーキテクチャに一般化可能であり、抽出的および非抽出的タスクの両方で有効に機能する。
• 柔らかい証拠抽出では、微分可能なアテンションまたはスパン予測を用いて連続的または確率的証拠スコアを生成し、勾配ベースの最適化を可能にする。
• 本手法は強化学習や複雑なラベル精錬技術を避けており、代わりに安定した反復的精錬に依存する。

実験結果

リサーチクエスチョン

• RQ1 黄金ラベルが利用できない状況下で、自動生成された疑似証拠ラベルを用いた自己学習が、MRCにおける証拠抽出を改善できるか？
• RQ2 疑似ラベルの反復的精錬が、証拠抽出器および最終的な回答予測器の性能に与える影響は何か？
• RQ3 自己学習ループ内での誤り伝搬はどの程度発生するか？また、誤った予測から自己補正できるか？
• RQ4 本手法は、YES/NO QA、マルチチョイスMRC、オープンドメインQAを含む多様なMRCタスクに一般化可能か？
• RQ5 特に、弱いモデル（BERT-base）と強いモデル（RoBERTa-large）の両方において、STMの性能はどのように変化するか？

主な発見

• RoBERTa-HAに適用した場合、CoQA開発セットにおける証拠抽出精度が13.8%から19.3%へと最大40%向上した。
• BERT-HA+STMは、CoQAおよびMultiRCの全指標においてベースのBERT-HAモデルを上回り、精度と再現率の両面で一貫した向上を示した。
• 初期反復（BERT-HA）では誤った証拠予測の割合が80%であったが、3回の自己学習反復後には60%に低下し、そのうち27%の誤った予測が高信頼度で是正された。
• 誤って修正され、伝搬された予測は4%にとどまったが、ほぼ50%の誤りが後の反復で是正されたことから、誤り伝搬に対して強い耐性を示した。
• 3つのMRCタスクにまたがる7つのデータセットにおいて一貫した向上が得られ、本手法の一般化可能性と有効性が裏付けられた。
• RoBERTa-HAのような強力なベースモデルですでに92.6%の回答精度を達成していたが、STMにより依然として証拠抽出精度が顕著に向上した。これは、優れた証拠が強力なモデルに対しても有益であることを示している。