[論文レビュー] RECONSIDER: Re-Ranking using Span-Focused Cross-Attention for Open Domain Question Answering

Srinivasan Iyer, Sewon Min+2 more|arXiv (Cornell University)|Oct 21, 2020

Topic Modeling参考文献 20被引用数 8

ひとこと要約

ReConsiderは、事前学習されたMRCモデルからの高信頼度予測を精緻化することで、抽出型オープンドメイン質問応答を改善するスパン焦点型再ランク付けモデルを提案する。スパンアノテーション付きのパassageと焦点型クロスアテンションを用いることで、SOTAの結果を達成し、Natural Questionsでは45.5%の正確一致、TriviaQAでは61.7%を記録。以前の手法や生成モデルでさえも、一部の状況ではこれを上回る性能を示した。

ABSTRACT

State-of-the-art Machine Reading Comprehension (MRC) models for Open-domain Question Answering (QA) are typically trained for span selection using distantly supervised positive examples and heuristically retrieved negative examples. This training scheme possibly explains empirical observations that these models achieve a high recall amongst their top few predictions, but a low overall accuracy, motivating the need for answer re-ranking. We develop a simple and effective re-ranking approach (RECONSIDER) for span-extraction tasks, that improves upon the performance of large pre-trained MRC models. RECONSIDER is trained on positive and negative examples extracted from high confidence predictions of MRC models, and uses in-passage span annotations to perform span-focused re-ranking over a smaller candidate set. As a result, RECONSIDER learns to eliminate close false positive passages, and achieves a new state of the art on four QA tasks, including 45.5% Exact Match accuracy on Natural Questions with real user questions, and 61.7% on TriviaQA.

研究の動機と目的

• 高再現率であるものの、トップランク予測の精度が低いオープンドメインQAの問題を、候補となる答えスパンの再ランク付けによって解決すること。
• 抽出型QAにおける意味的に類似した誤検出（false positives）と正しい答えの区別を向上させること。
• 高信頼度MRC予測とスパンアノテーションを活用するシンプルで汎用性の高い再ランク付け手法を開発すること。
• 既存のリtrieval-Augmentedおよび生成型モデルを上回る性能を、抽出型QAベンチマークで示すこと。
• 特定スパンに焦点を当てた推論が、標準的なスパン選択よりも性能を向上させることを示すこと。

提案手法

• ReConsiderは、既存のMRCモデル（例：DPR）の高信頼度予測から抽出された正例および負例で学習される。
• 各パassageには候補となる答えスパンがマークされ、質問とアノテーションされたスパン間でスパン焦点型クロスアテンションが可能になる。
• モデルはスパンに焦点を当てたクロスアテンションを備えたBERTベースのアーキテクチャを採用し、候補となる答えの推論を向上させる。
• ベースMRCモデルのトップ-K予測（例：トップ100）を再ランク付けし、その中から最も信頼度の高いスパンを選択する。
• 訓練時にハードネガティブ例（意味的に類似しているが誤りの答え）を用いることで、識別性能が向上する。
• この手法はスケーラブルであり、大規模事前学習モデルと互換性がある。連結ベースの再ランク付けの制限を回避できる。

実験結果

リサーチクエスチョン

• RQ1 特定の答えスパンに焦点を当てた再ランク付けモデルが、抽出型オープンドメインQAの性能向上に寄与するか？
• RQ2 高信頼度MRC予測から得られるより難しい、繊細な誤検出を学習させることで、一般化性能が向上するか？
• RQ3 スパン焦点型クロスアテンションは、類似した誤検出を区別する上で、標準的なMRCモデルを上回るか？
• RQ4 ReConsiderは、SOTAのリtrieval-Augmentedおよび生成型QAモデルと比較して、どのように性能を発揮するか？
• RQ5 スパンアノテーションを用いることで、代替的な入力形式と比較して再ランク付け精度が顕著に向上するか？

主な発見

• Natural Questionsのテストセットでは45.5%の正確一致を達成し、小規模モデルで前回SOTA（DPR）を1.6%上回った。
• TriviaQAでは61.7%の正確一致を達成し、小規模モデルで前回SOTAを2.5%上回った。
• ReConsiderの大規模モデルバージョンは、すべてのデータセットでBERT-largeベースのDPRを約1%上回り、TriviaQAでは61.1%を記録した。
• ReConsiderは、BART-largeを用いたRAGモデルをNQでは1%、TriviaQAでは5.5%、TRECでは3%上回り、抽出型QAにおいて強力な性能を示した。
• 答えの連結ではなくスパンアノテーションを用いることで、NQの検証精度が1%向上した。これは、焦点を当てたモデリングの重要性を裏付けた。
• 推論時にK=5の予測を用いる際、モデルの性能が最も良く、Kを増大させても影響は最小限であった。これは、候補セットのサイズに強く依存しない堅牢性を示している。