[論文レビュー] Constructing A Multi-hop QA Dataset for Comprehensive Evaluation of Reasoning Steps

Xanh Ho, Anh-Khoa Duong Nguyen+2 more|arXiv (Cornell University)|Nov 2, 2020

Topic Modeling参考文献 28被引用数 5

ひとこと要約

本論文では、WikipediaとWikidataを統合することで、多段階推論が必須となる大規模なマルチホップQAデータセット2WikiMultiHopQAを紹介する。Wikipediaの文章とWikidataの三項節を組み合わせ、論理的ルールを用いて自然で推論を要する質問を生成することで、モデルの推論手順を包括的に説明・評価可能にし、従来のデータセットよりも難易度が高く、マルチホップ要件の検証が容易である。

ABSTRACT

A multi-hop question answering (QA) dataset aims to test reasoning and inference skills by requiring a model to read multiple paragraphs to answer a given question. However, current datasets do not provide a complete explanation for the reasoning process from the question to the answer. Further, previous studies revealed that many examples in existing multi-hop datasets do not require multi-hop reasoning to answer a question. In this study, we present a new multi-hop QA dataset, called 2WikiMultiHopQA, which uses structured and unstructured data. In our dataset, we introduce the evidence information containing a reasoning path for multi-hop questions. The evidence information has two benefits: (i) providing a comprehensive explanation for predictions and (ii) evaluating the reasoning skills of a model. We carefully design a pipeline and a set of templates when generating a question-answer pair that guarantees the multi-hop steps and the quality of the questions. We also exploit the structured format in Wikidata and use logical rules to create questions that are natural but still require multi-hop reasoning. Through experiments, we demonstrate that our dataset is challenging for multi-hop models and it ensures that multi-hop reasoning is required.

研究の動機と目的

• 既存のマルチホップQAデータセットに見られる包括的な推論説明の欠如に対処すること。
• 質問に回答する際に、本物のマルチホップ推論が本当に必要であることを保証し、単一ホップや文脈依存の抜け道を避けること。
• 手作業で作成したテンプレートを用いて、構造化済み（Wikidata）と非構造化（Wikipedia）のデータを統合し、高品質でスケーラブルなデータセットを構築すること。
• マルチホップQAモデルにおける根拠（証拠）と内省的推論（推論経路）の両方の評価を可能にすること。
• ヒューリスティックな精錬により、WikipediaのテキストとWikidataの三項節の間の不一致を最小限に抑えることで、データセットの信頼性を向上させること。

提案手法

• Wikipediaの要約とWikidataのエンティティの重複を活用したパイプラインを用いて、データセットを構築し、整合性を確保する。
• 事前に定義されたテンプレートを用いて、比較、推論、構成的、ブリッジ比較の4種類の質問タイプを生成し、単一ホップや文脈依存のケースを除外するフィルタを設ける。
• 論理的ルール（例：father(a,b) ∧ father(b,c) ⇒ grandfather(a,c)）を用いて、自然でマルチホップ推論を要する質問を生成する。
• 証拠として、各質問ごとに構造化された推論経路を形成するWikidata三項節（主語、属性、目的語）の集合を提供する。
• ヒューリスティックに基づいたアライメントシステムを用いて、Wikipediaの文をWikidata三項節にマッピングし、不一致を検出・是正するための手動検証を実施する。
• マルチホップモデルのパフォーマンスと単一ホップBERTベースラインによる評価を通じて、マルチホップ推論が実際に必要であることを確認する。

実験結果

リサーチクエスチョン

• RQ1 非構造化テキスト（Wikipedia）と構造化知識（Wikidata）を併用することで、本物のマルチホップ推論が必須となるマルチホップQAデータセットを構築できるか？
• RQ2 各質問に対して、体系的かつ包括的に、かつ簡潔に推論経路（証拠）を生成・検証する方法は何か？
• RQ3 2WikiMultiHopQAデータセットは、単一ホップの抜け道ではなく、マルチホップ推論が本当に必要であることをどの程度まで保証しているか？
• RQ4 2WikiMultiHopQAにおけるマルチホップモデルのパフォーマンスは、HotpotQAなどの既存のベンチマークと比較して、難易度と推論要件の両面でどう異なるか？
• RQ5 知識グラフからの論理的ルールを効果的に活用することで、自然で解釈可能かつ困難なマルチホップ質問を生成できるか？

主な発見

• 2WikiMultiHopQAデータセットには、R^4C（4,588サンプル）など既存のデータセットよりも顕著に大きな192,606件の高品質なマルチホップQAサンプルが含まれている。
• マルチホップモデルは、2WikiMultiHopQAではHotpotQAよりも低いパフォーマンスを示しており、より高い難易度であることが示唆される。
• 単一ホップBERTモデルは、2WikiMultiHopQAではHotpotQAよりも8.7 F1ポイント低いスコアを記録しており、マルチホップ推論が本物で必要であることが裏付けられている。
• 手動での検査により、ランダムに抽出した100件のトレーニング例のうち8件でWikipediaのテキストとWikidata三項節の不一致が確認され、より良いヒューリスティックなアライメントの必要性が浮き彫りになった。
• 論理的ルールを質問生成に活用することで、より自然で推論を要する質問が生成され、同時にマルチホップ推論の要件を維持している。
• 本データセットは、根拠（証拠三項節）と内省的推論（構造化された推論経路）の両方を提供しており、モデルの推論を包括的に評価可能である。