[論文レビュー] More Than Reading Comprehension: A Survey on Datasets and Metrics of Textual Question Answering

Yang Bai, Daisy Zhe Wang|arXiv (Cornell University)|Sep 25, 2021

Topic Modeling参考文献 70被引用数 9

ひとこと要約

本サーベイは、47のテクスト指向QAベンチマークデータセットを包括的かつ応用指向の分類で提示し、古典的・新規の機械読解（MRC）、オープンドメインQA（ODQA）、共通知識QAに分類している。8つの主要な評価指標を評価し、実ユーザーの質問収集や証拠のアノテーションといったデータセット構築のトレンドを特定。今後のベンチマークでは、Wikipedia以外のドメイン、複数回答評価、統一された指標の導入を提言し、現在のベンチマークを超えた解釈可能性とモデルの汎化能力の向上を目指す。

ABSTRACT

Textual Question Answering (QA) aims to provide precise answers to user's questions in natural language using unstructured data. One of the most popular approaches to this goal is machine reading comprehension(MRC). In recent years, many novel datasets and evaluation metrics based on classical MRC tasks have been proposed for broader textual QA tasks. In this paper, we survey 47 recent textual QA benchmark datasets and propose a new taxonomy from an application point of view. In addition, We summarize 8 evaluation metrics of textual QA tasks. Finally, we discuss current trends in constructing textual QA benchmarks and suggest directions for future work.

研究の動機と目的

• 増加し続ける多様なテクスト指向QAベンチマークによる混乱を解消するため、統一的で応用指向の分類を提供すること。
• タスクタイプ、構築手法、統計的性質の観点から47のベンチマークデータセットを体系的に比較すること。
• テクストQAで用いられる8つの評価指標を要約・分析し、回答タイプごとの分布を強調すること。
• 質問収集方法や証拠アノテーションといった、データセット構築における現在のトレンドを特定すること。
• 今後の研究方向性として、Wikipedia以外のドメイン、複数回答評価、指標の統一を提言すること。

提案手法

• 応用シナリオに基づいたテクストQAタスクの新規分類法を提案。古典的MRC、会話型MRC、マルチホップMRC、長文形式MRC、クロス言語MRCの4種の新規MRCタイプ、ODQA、共通知識QAを区別。
• 31のMRCデータセット（18つは古典的、13つは新規MRC）、11のODQAデータセット、5つの共通知識QAデータセットをレビュー。詳細な統計と構築手法を提示。
• 8つの評価指標（正確一致、F1、BLEU、ROUGE、BERT-score、BLEURT、IoU）を要約。数式と分布分析を併記。
• 質問収集方法、回答タイプ（スパン vs. 自由形式）、文脈ソースの観点から、質問収集のトレンドを体系的比較で分析。
• モデルの解釈可能性を向上させるために、支援文を明示的にラベル付けする証拠アノテーションの実施状況を評価。
• 今後の方向性を提言：医療・ソーシャルメディアなどのWikipedia以外のドメインへの拡張、複数回答評価のサポート、BERT-score や BLEURT といった高度な生成指標を用いた指標の統一。

実験結果

リサーチクエスチョン

• RQ1 タスクタイプやデータソースではなく、応用シナリオに基づいてテクストQAベンチマークを体系的に分類する方法は何か？
• RQ2 近年のテクストQAデータセットにおいて、質問および回答収集方法の主なトレンドは何か？
• RQ3 異なる評価指標は、テクストQAにおけるさまざまな回答タイプやタスクカテゴリでどのように性能を発揮するか？
• RQ4 現在のベンチマークの主な制限、特に回答の多様性と証拠の解釈に関する問題点は何か？
• RQ5 より強固で汎化可能かつ解釈可能なテクストQAシステムを実現するための今後の方向性は何か？

主な発見

• 本サーベイは、合成的またはクラウドソーシングによるクローズ形式の質問ではなく、検索エンジンやReddit・Stack OverflowなどのQAウェブサイトから実ユーザーの質問を収集する傾向が顕著に増加していると特定。
• スパン形式の回答が依然として最も一般的であるが、長文回答や支援文のアノテーションが増加しており、モデルの解釈可能性を向上させるための取り組みが進んでいる。
• WikipediaはODQAおよびMRCデータセットの主要な文脈ソースであるが、医療やソーシャルメディアなどWikipedia以外のドメインへの移行を模索する研究者が増加している。
• 現在のベンチマークは主に単一の基準回答をサポートしているが、現実の質問では複数の妥当な回答が存在するため、複数回答評価指標の導入が不可欠である。
• ROUGE や BLEU よりも、BERT-score や BLEURT といった高度な指標が人間の評価とより強く相関していることが示され、今後のベンチマーク作成における潜在的役割が示唆された。
• 証拠アノテーション（支援文のラベル付け）は、特に複雑なQAタスクにおいてますます一般的になっており、モデルの透明性と推論の追跡可能性を向上させる。