[論文レビュー] ConditionalQA: A Complex Reading Comprehension Dataset with Conditional Answers

Haitian Sun, William W. Cohen+1 more|arXiv (Cornell University)|Oct 13, 2021

Topic Modeling被引用数 4

ひとこと要約

この論文では、特定の明示的な条件下でのみ有効な答えを有する条件付き答えを特徴とする、複雑な読解理解データセット「ConditionalQA」を紹介する。このデータセットは、論理的に複雑な長文ドキュメント上でマルチホップ推論を要するが、最先端のモデルでさえも、yes/no質問では64.9%の正確性、抽出型回答では25.2%の正確一致（EM）にとどまり、現在のモデルが条件論理を扱う能力に顕著なギャップを有することを示している。

ABSTRACT

We describe a Question Answering (QA) dataset that contains complex questions with conditional answers, i.e. the answers are only applicable when certain conditions apply. We call this dataset ConditionalQA. In addition to conditional answers, the dataset also features: (1) long context documents with information that is related in logically complex ways; (2) multi-hop questions that require compositional logical reasoning; (3) a combination of extractive questions, yes/no questions, questions with multiple answers, and not-answerable questions; (4) questions asked without knowing the answers. We show that ConditionalQA is challenging for many of the existing QA models, especially in selecting answer conditions. We believe that this dataset will motivate further research in answering complex questions over long documents. Data and leaderboard are publicly available at \url{https://github.com/haitian-sun/ConditionalQA}.

研究の動機と目的

• 従来の読解理解データセットが主に決定論的な答えを特徴しているのに対し、文脈依存の特定条件に依存する条件付き答えを有するデータセットを導入することで、そのギャップを埋めること。
• 長く論理的に構造化されたドキュメントに内在する複雑な内部依存関係を扱い、マルチホップ推論を要するモデルの能力をテストするベンチマークを構築すること。
• モデルが答えと関連する条件を特定する必要がある質問に対する、現在の最先端QAモデルの性能を評価し、推論および条件選択における制限を明らかにすること。
• アノテーション段階で質問作成と回答選択を分離することで、質問が事前に回答を知っていることによるバイアスを回避し、現実的で多様な質問を実現すること。

提案手法

• データセットは、特定の資格要件に条件論理を含む英国の公共政策文書（例：葬祭費支給）から構築され、社会的支援制度に特化している。
• 各例には、ユーザーの質問、状況説明、長文の政策文書、人間がアノテートした支援証拠が含まれており、答えは明示的に必要な条件とペアにされている。
• 質問は多様である：抽出型、yes/no型、複数回答型、回答不能型を含み、ユーザーの質問における現実世界の曖昧さと不完全さを反映している。
• アノテーションプロセスでは、質問作成と回答選択を分離しており、質問が回答を知らずに行われることで、現実性が向上しバイアスが低減される。
• モデルの評価は、答えの正確性と条件の正確性の両方を対象とし、答えと条件を統合的に評価することで、包括的な推論性能を測定する。
• ベースラインモデルには、リtrieバル拡張エンコーダー（例：ETC-pipeline、DocHopper）と生成モデル（FiD）が含まれ、性能は答えと条件の両方について正確一致（EM）とF1スコアで測定される。

実験結果

リサーチクエスチョン

• RQ1 既存の質問・回答モデルは、複雑な政策文書において、明示的に記載された特定の条件下でのみ有効な答えを正しく特定できるか？
• RQ2 現在のモデルは、長く論理的に構造化されたドキュメント内で複数の論理的依存関係を跨ぐマルチホップ推論に対し、どの程度一般化できるか？
• RQ3 モデルが正しくない条件を選択する頻度はどの程度で、条件付き答え予測における主な誤りパターンは何か？
• RQ4 答えを単独で予測する場合と比較して、答えと条件を同時に予測する場合にモデルの性能が著しく低下するか？
• RQ5 信頼度スコアのしきい値チューニングにより、誤った陽性を過剰に導入することなく、条件付き答えの予測を改善できるか？

主な発見

• 最も性能の良いモデルでも、yes/no質問では64.9%の正確性にとどまり、常に「yes」と答える多数派ベースライン（62.2%）よりもわずかに優れているにとどまる。
• 抽出型質問では、最も良いモデルが25.2%の正確一致（EM）を達成しており、正しい答えのスパンを特定することが著しく困難であることが示された。
• 答えと条件を統合的に評価した場合、最も良いモデルの性能は、yes/no質問で49.1% EM、抽出型質問で22.5% EMに低下し、条件を予測しない場合に最も良い結果が得られた。
• 少なくとも1つの条件付き答えを含む質問では、条件を同時に予測する場合、性能が90%以上低下しており、条件選択の極めて高い難易度が浮き彫りになった。
• 誤り分析の結果、最も一般的な誤りは、複数の有効な答えのうち部分的にしか正しく予測しないことであり、特にモデルが単一回答出力を好む傾向があることが判明した。
• 条件の信頼度スコアに対するしきい値チューニングは、条件付き答えのみのサブセットでわずかな改善をもたらしたが、誤った陽性条件の増加により全体の性能が急激に低下した。