[論文レビュー] A Framework for Evaluation of Machine Reading Comprehension Gold Standards

Viktor Schlegel, Marco Valentino+3 more|arXiv (Cornell University)|Mar 10, 2020

Topic Modeling参考文献 42被引用数 19

ひとこと要約

本論文は、言語的複雑さ、必要な推論、背景知識、事実の正確性、語彙的手がかりを分析することにより、機械読解（MRC）のゴールドスタンダードを体系的に評価する統合的フレームワークを提案する。このフレームワークは定性的なアノテーションスキーマと近似指標を用い、既存のMRCデータセットが語彙的曖昧性を欠き、答えに事実的不整合を含み、表面的語彙的手がかりに大きく依存していることが判明し、真の読解理解評価の質を損なっていることを明らかにする。

ABSTRACT

Machine Reading Comprehension (MRC) is the task of answering a question over a paragraph of text. While neural MRC systems gain popularity and achieve noticeable performance, issues are being raised with the methodology used to establish their performance, particularly concerning the data design of gold standards that are used to evaluate them. There is but a limited understanding of the challenges present in this data, which makes it hard to draw comparisons and formulate reliable hypotheses. As a first step towards alleviating the problem, this paper proposes a unifying framework to systematically investigate the present linguistic features, required reasoning and background knowledge and factual correctness on one hand, and the presence of lexical cues as a lower bound for the requirement of understanding on the other hand. We propose a qualitative annotation schema for the first and a set of approximative metrics for the latter. In a first application of the framework, we analyse modern MRC gold standards and present our findings: the absence of features that contribute towards lexical ambiguity, the varying factual correctness of the expected answers and the presence of lexical cues, all of which potentially lower the reading comprehension complexity and quality of the evaluation data.

研究の動機と目的

• MRCゴールドスタンダードの体系的評価の欠如に取り組み、モデルの性能を評価するために不可欠である。
• 期待される答えにおける語彙的手がかりや事実的不正確性といった、既存のMRCデータセットの欠陥を特定・分析すること。
• 言語的特徴、推論タイプ、知識要件の観点から、MRC評価データの体系的比較を可能にする統合的フレームワークの開発。
• 深層理解と表面的パターンマッチングの区別を可能にすることで、MRC評価の信頼性を向上させること。
• 今後の研究が、より高品質で堅牢なMRCベンチマークを構築する基盤を提供すること。

提案手法

• MRCゴールドスタンダードにおける言語的複雑さ、必要な推論、背景知識、事実の正確性を分類する定性的なアノテーションスキーマを提案する。
• キーワードの重なりや答えからの距離といった、表面的モデル性能を可能にする語彙的手がかりの存在を定量化する近似指標を導入する。
• 手動および自動分析手法を用いて、HotpotQA や SQuAD などの現代的MRCデータセットにこのフレームワークを適用する。
• アノテーション中に敵対的事前学習モデルを活用したクラウドソーシングを実施し、語彙的マッチングで簡単に答えられる質問を除外する。
• マリエッタ空軍基地とスミスナなどのマルチページ例を用いて、語彙的手がかりが質問を単純化する仕組みを示す。
• 推論、共参照解決、事実の想起が必要かどうかに基づいて質問を分類し、外部知識と照らして答えの正確性を評価する。

実験結果

リサーチクエスチョン

• RQ1 既存のMRCゴールドスタンダードは、真の理解よりも語彙的手がかりにどれほど依存しているか？
• RQ2 現在のMRCデータセットにおける期待される答えは、どれほど一貫性があり、事実的に正確か？
• RQ3 MRC評価データに実際に存在する言語的および推論的複雑さは何か？
• RQ4 背景知識と曖昧性の有無が、MRCタスクの難易度にどのように影響するか？
• RQ5 統一されたフレームワークは、異なるMRCゴールドスタンダードの質を体系的に評価・比較できるか？

主な発見

• HotpotQA を含む多くのMRCデータセットでは、質問と本文に固有のキーワードが存在するため、期待される答えが容易に特定可能であり、深層理解の必要が薄れる。
• ゴールドスタンダードにおける期待される答えは、しばしば事実的に一貫性がなく、誤りであるか、古くさかったり曖昧な情報に基づいている。
• 質問や本文に顕著な語彙的曖昧性が欠落しており、モデルが曖昧な参照を解消できる能力を評価する機会が制限されている。
• フレームワークは、現代のMRCデータセットの大部分の質問が、意味的理解ではなく表面的語彙マッチングによって解けることが判明した。
• アノテーション中に敵対的事前学習モデルを用いることで、単純なキーワードマッチングで答えられる質問が効果的に除外され、データ品質が向上した。
• 分析結果は、現在の評価データが真の読解理解を測定するのには不十分であり、パターンマッチングに偏っており、十分な推論や知識要件を満たしていないことが示された。