[論文レビュー] QAMPARI: An Open-domain Question Answering Benchmark for Questions with Many Answers from Multiple Paragraphs

Samuel Joseph Amouyal, Tomer Wolfson+4 more|arXiv (Cornell University)|May 25, 2022

Topic Modeling被引用数 15

ひとこと要約

QAMPARIは、WikidataとWikipediaのテーブルから半自動生成された質問を用い、複数のWikipediaの段落から複数の答えを抽出する必要がある、挑戦的なオープンドメイン質問応答ベンチマークを導入している。その後に人的な検証を実施している。最先端のモデルですら最高でF1スコア32.8にとどまっていることから、複数の答えと複数の段落を含む質問におけるリトリーブと答え生成の課題が顕著に浮き彫りになっている。

ABSTRACT

Existing benchmarks for open-domain question answering (ODQA) typically focus on questions whose answers can be extracted from a single paragraph. By contrast, many natural questions, such as "What players were drafted by the Brooklyn Nets?" have a list of answers. Answering such questions requires retrieving and reading from many passages, in a large corpus. We introduce QAMPARI, an ODQA benchmark, where question answers are lists of entities, spread across many paragraphs. We created QAMPARI by (a) generating questions with multiple answers from Wikipedia's knowledge graph and tables, (b) automatically pairing answers with supporting evidence in Wikipedia paragraphs, and (c) manually paraphrasing questions and validating each answer. We train ODQA models from the retrieve-and-read family and find that QAMPARI is challenging in terms of both passage retrieval and answer generation, reaching an F1 score of 32.8 at best. Our results highlight the need for developing ODQA models that handle a broad range of question types, including single and multi-answer questions.

研究の動機と目的

• 複数の段落から複数の答えを必要とするオープンドメイン質問応答（ODQA）のベンチマークが不足しているという問題に対処すること。
• 単一の答えと単一の段落にとどまらない、現実世界の複雑さを反映した、現実的でスケーラブルな複数答え質問用ベンチマークを構築すること。
• 合成質問やインターセクション質問（例：「クランチ・イーストウッドが製作および監督した映画は何か？」）を含む、多様な質問タイプにおけるODQAモデルの一般化性と頑健性を評価すること。
• 長く分散された答えの集合を処理する際、現在のリトリーブ・アンド・リードパイプラインにおける主なボトル neck を同定すること。
• モデルの一般化性を向上させるために、単一答え（例：NQ）と複数答え（例：QAMPARI）の両方のベンチマークを統合的に評価することを提唱すること。

提案手法

• Wikidataの関係とWikipediaのテーブルを用いて、事前に定義されたテンプレート（例：「[関係] と [エンティティ] との間には何があるか？」）を用いて複数答え質問を生成し、自然言語に変換する。
• エンティティリンクと段落リトリーブを用いて、自動的に各答えに対応する証拠段落をペアリングする。
• クラウドソーシングを活用して質問を自然言語に言い換え、答えの正しさを検証することで、言語的多様性と事実の正確性を確保する。
• 合成質問やインターセクション質問（例：「クランチ・イーストウッドが製作および監督した映画は何か？」）を構築し、複雑性を高める。
• 二段階評価設定を採用する：第一段階ではBM25およびDPRを用いてリトリーブ性能を評価し、第二段階ではRAGに類似した読込モデルとFiD読込モデルを用いて答え生成性能を評価する。
• ゴールド証拠段落を読込モデルに供給することで、リトリーブと読込の性能を分離するためのオラクル分析を実施する。

実験結果

リサーチクエスチョン

• RQ1 複数の段落に散らばる複数の答えを必要とする質問に対して、現在のリトリーブ・アンド・リードODQAモデルはどの程度の性能を示すか？
• RQ2 答えが50個以上の段落に分散している場合、モデルの性能はどの程度低下するのか？また、これは単一答えベンチマークと比べてどう異なるか？
• RQ3 複数答えODQAにおいて、リトリーブ品質と答え生成能力の相対的寄与度はどの程度か？
• RQ4 NQとQAMPARIの両方でマルチタスク学習を実施することで、QAMPARI単体での学習に比べて、複数答え質問の性能が向上するか？
• RQ5 この複数答え・複数段落ベンチマークにおいて、クローズドブックモデルの性能はリトリーブ・アンド・リードモデルと比べてどの程度か？

主な発見

• QAMPARIで最高の性能を示したモデルでもF1スコアはわずか32.8にとどまり、複数答え質問におけるリトリーブと答え生成の両面で顕著な課題が示されている。
• テスト例のうちたった31.2％しか、正解の80％以上を達成していないため、分散された段落に散らばるすべての関連する答えを捉えることが極めて難しいことが浮き彫りになっている。
• PIG-DPRはFiD-DPRよりもリCALL性能が高く（FiD-BM25を上回る）、複数答え質問において独立した段落処理がリトリーブカバレッジを向上させることを示唆している。
• オラクル分析の結果、ゴールド証拠段落を供給することで性能が著しく向上することが判明し、リトリーブが主なボトル neck であることが示された。
• クローズドブックモデルの性能は極めて低く（F1 = 2.6）、外部リトリーブなしでは多様で複数の事実を含む質問を記憶または一般化することが極めて困難であることが浮き彫りになった。
• NQとQAMPARIの両方でマルチタスク学習を実施することで、QAMPARI単体での学習に比べて性能が向上した。これは、多様な監視信号の恩恵が確認されたことを示している。