[論文レビュー] Evidence Sentence Extraction for Machine Reading Comprehension

Hai Wang, Dian Yu+5 more|arXiv (Cornell University)|Feb 23, 2019

Topic Modeling参考文献 57被引用数 8

ひとこと要約

本稿では、複数選択型機械読解（MRC）のための最初の証拠文抽出手法を提案する。遠隔教師付き学習を用いてノイズの多いラベルを生成し、深層確率論理フレームワークを用いてそれらをノイズ除去する。神経ネットワーク読解モデルに、抽出された証拠文のみを入力することで、MultiRC、RACE、DREAMの各データセットで、全文を入力とするモデルと同等またはそれ以上の性能を達成し、説明可能なMRCの発展に寄与する。

ABSTRACT

Remarkable success has been achieved in the last few years on some limited machine reading comprehension (MRC) tasks. However, it is still difficult to interpret the predictions of existing MRC models. In this paper, we focus on extracting evidence sentences that can explain or support the answers of multiple-choice MRC tasks, where the majority of answer options cannot be directly extracted from reference documents. Due to the lack of ground truth evidence sentence labels in most cases, we apply distant supervision to generate imperfect labels and then use them to train an evidence sentence extractor. To denoise the noisy labels, we apply a recently proposed deep probabilistic logic learning framework to incorporate both sentence-level and cross-sentence linguistic indicators for indirect supervision. We feed the extracted evidence sentences into existing MRC models and evaluate the end-to-end performance on three challenging multiple-choice MRC datasets: MultiRC, RACE, and DREAM, achieving comparable or better performance than the same models that take as input the full reference document. To the best of our knowledge, this is the first work extracting evidence sentences for multiple-choice MRC.

研究の動機と目的

• 既存の複数選択型MRCモデルに説明可能性の欠如があること、予測の根拠となるテキスト的説明を提供しないことに対処する。
• 複数選択型MRCタスクにおいて、正しい選択肢を支持するか包含する参考文書内の証拠文を抽出する。
• 真の証拠ラベルが存在しない状況において、遠隔教師付き学習を適用してノイズの多い銀標準ラベルを生成することで、真の証拠ラベルの欠如を克服する。
• 文の隣接性や文間関係といった言語的インジケータを用いて、深層確率論理学習フレームワークにより不完全なラベルをノイズ除去する。
• 抽出された証拠文の質を、(質問, 正解選択肢)ペアにのみ証拠文を入力とした際のエンドツーエンドMRC性能を測定することで評価する。

提案手法

• 質問、正解選択肢、参考文書内の文との間の語彙的一致（lexical overlap）を用いて、遠隔教師付き学習を適用し、ノイズの多い証拠文ラベルを生成する。
• 文単位および文間の言語的インジケータ（例：隣接する文はしばしば同じラベルを持つ）を設計し、間接的教師信号として用いる。
• これらの言語的インジケータを同時にモデル化し、トレーニング中にノイズの多いラベルを精錬するため、深層確率論理学習フレームワークを採用する。
• ノイズ除去済みラベルを用いて、証拠文抽出器を学習させ、(質問, 正解選択肢)ペアをサポートする文を予測する。
• 抽出された証拠文を、既存の神経ネットワークMRCモデルへの入力としてのみ提供し、全文を置き換えることで、抽出文の品質を評価する。
• MultiRC、RACE、DREAMにおけるエンドツーエンドMRC性能を、証拠文の質の間接的代理指標として用いる。

実験結果

リサーチクエスチョン

• RQ1 証拠文抽出によって、予測の根拠となるテキスト的説明を提供することで、複数選択型MRCモデルの説明可能性を向上させることができるか？
• RQ2 真の証拠ラベルが入手不可な状況において、遠隔教師付き学習が弱教師信号を生成するのにどの程度有効か？
• RQ3 文の隣接性や話法的整合性といった言語的インジケータは、証拠抽出におけるノイズの多いラベルの品質向上に寄与するか？
• RQ4 抽出された証拠文のみを入力とした場合、全文を入力とした場合と比較して、MRC性能が同等またはそれ以上に達するか？
• RQ5 自動的に抽出された証拠文は、人間がアノテートした真の証拠とどの程度近いか？

主な発見

• 提案手法は、全参考文を入力とするモデルと比較して、MultiRC、RACE、DREAMの各データセットで同等またはより高いエンドツーエンド性能を達成した。
• 語彙的一致や注目メカニズムに依存するベースラインと比較して、言語的知識を組み込むことで、モデルの性能が向上した。
• ノイズ除去に深層確率論理を用いることで、ラベル品質が著しく向上したことが、下流のMRC性能の向上によって裏付けられた。
• 強力な結果が得られたものの、自動抽出された証拠文と人間がアノテートした真の証拠には依然として大きな格差が存在し、改善の余地が示された。
• 本手法は、複数選択型MRCのための系統的な証拠文抽出を初めて実現し、説明可能なMRCの新しいベースラインを確立した。
• 実験により、証拠文のみを入力とした場合でも、神経ネットワーク読解モデルが強力な性能を発揮することが示され、抽出パイプラインの有効性が裏付けられた。