[논문 리뷰] Constructing A Multi-hop QA Dataset for Comprehensive Evaluation of Reasoning Steps

Xanh Ho, Anh-Khoa Duong Nguyen외 2명|arXiv (Cornell University)|2020. 11. 02.

Topic Modeling참고 문헌 28인용 수 5

한 줄 요약

이 논문은 다중 스텝 추론이 반드시 필요하도록 보장하기 위해 위키백과와 위키데이터를 결합한 대규모 다중 스텝 질의응답 데이터셋인 2WikiMultiHopQA를 소개한다. 위키데이터 삼항조합 형태의 구조적 근거를 통합하고 논리 규칙을 활용해 자연스럽고 추론 중심인 질문을 생성함으로써, 모델의 추론 단계에 대한 종합적인 설명과 평가가 가능해지며, 기존 데이터셋에 비해 어려움 수준과 다중 스텝 요구 조건 검증 면에서 뛰어나다.

ABSTRACT

A multi-hop question answering (QA) dataset aims to test reasoning and inference skills by requiring a model to read multiple paragraphs to answer a given question. However, current datasets do not provide a complete explanation for the reasoning process from the question to the answer. Further, previous studies revealed that many examples in existing multi-hop datasets do not require multi-hop reasoning to answer a question. In this study, we present a new multi-hop QA dataset, called 2WikiMultiHopQA, which uses structured and unstructured data. In our dataset, we introduce the evidence information containing a reasoning path for multi-hop questions. The evidence information has two benefits: (i) providing a comprehensive explanation for predictions and (ii) evaluating the reasoning skills of a model. We carefully design a pipeline and a set of templates when generating a question-answer pair that guarantees the multi-hop steps and the quality of the questions. We also exploit the structured format in Wikidata and use logical rules to create questions that are natural but still require multi-hop reasoning. Through experiments, we demonstrate that our dataset is challenging for multi-hop models and it ensures that multi-hop reasoning is required.

연구 동기 및 목표

• 기존 다중 스텝 QA 데이터셋에서 종합적인 추론 설명이 부족한 문제를 해결하기 위해.
• 질의에 대한 답변을 위해 진정으로 다중 스텝 추론이 필요하도록 보장하여 단일 스텝 또는 맥락 의존적 단서를 피하기 위해.
• 수동으로 작성된 템플릿을 사용해 구조적(위키데이터) 및 비구조적(위키백과) 데이터를 결합한 고품질로 확장 가능한 데이터셋을 구축하기 위해.
• 다중 스텝 QA 모델에서 근거(증거)와 내성적 추론(추론 경로)을 모두 평가할 수 있도록 하기 위해.
• 히우스틱 보정을 통해 위키백과 텍스트와 위키데이터 삼항조합 간의 불일치를 최소화하여 데이터셋 신뢰도를 향상시키기 위해.

제안 방법

• 데이터셋은 위키백과 기사 요약과 위키데이터 엔티티 간의 교차점을 활용해 일치를 보장하는 파이프라인을 통해 구축된다.
• 사전 정의된 템플릿을 사용해 비교, 추론, 복합, 다리 형성 비교 등 네 가지 질문 유형을 생성하며, 단일 스텝 또는 맥락 의존적 케이스를 제외하기 위한 필터가 적용된다.
• 논리 규칙(예: father(a,b) ∧ father(b,c) ⇒ grandfather(a,c))을 사용해 자연스럽고 다중 스텝 추론이 요구되는 질문을 생성한다.
• 근거로는 위키데이터 삼항조합(주어, 성격, 목적어)의 집합을 제공하여 각 질문에 대해 구조적 추론 경로를 형성한다.
• 히우스틱 기반 일치 시스템을 통해 위키백과 문장을 위키데이터 삼항조합에 매핑하고, 수동 검증을 통해 오류를 탐지하고 수정한다.
• 다중 스텝 모델 성능과 단일 스텝 BERT 기준선을 통한 평가를 통해 다중 스텝 추론이 반드시 필요하다는 점을 확인한다.

실험 결과

연구 질문

• RQ1 비구조적 텍스트(위키백과)와 구조적 지식(위키데이터)를 모두 활용해 진정으로 다중 스텝 추론이 요구되는 다중 스텝 QA 데이터셋을 구성할 수 있는가?
• RQ2 각 질문에 대해 종합적이고 간결한 추론 경로(근거)를 체계적으로 생성하고 검증할 수 있는가?
• RQ3 2WikiMultiHopQA 데이터셋이 단일 스텝 단서를 피하고 진정으로 다중 스텝 추론이 필요하도록 하는 데까지 어느 정도 확보하는가?
• RQ4 2WikiMultiHopQA에서 다중 스텝 모델의 성능은 HotpotQA와 같은 기존 벤치마크와 비교해 난이도와 추론 요구 조건 면에서 어떻게 다른가?
• RQ5 지식 그래프의 논리 규칙을 효과적으로 활용해 자연스럽고 다중 스텝 추론이 요구되며, 해석 가능하고 도전적인 질문을 생성할 수 있는가?

주요 결과

• 2WikiMultiHopQA 데이터셋은 기존 데이터셋인 R^4C(4,588개 샘플)에 비해 훨씬 큰 192,606개의 고품질 다중 스텝 QA 샘플을 포함하고 있다.
• 다중 스텝 모델은 2WikiMultiHopQA에서 HotpotQA보다 낮은 성능을 기록하며, 더 높은 난이도를 반영한다.
• 단일 스텝 BERT 모델은 2WikiMultiHopQA에서 HotpotQA보다 F1 점수로 8.7점 낮게 기록되어 다중 스텝 추론이 진정으로 필요하다는 점을 확인한다.
• 수동 점검 결과, 무작위로 추출한 훈련 예제 100개 중 8개에서 위키백과 텍스트와 위키데이터 삼항조합 간 불일치가 발견되어 히우스틱 일치 개선의 필요성을 시사한다.
• 질문 생성에 논리 규칙을 사용함으로써 더 자연스럽고 추론 중심인 질문을 생성할 수 있었으며, 동시에 다중 스텝 추론 요구 조건을 유지했다.
• 이 데이터셋은 근거(증거 삼항조합)와 내성적 추론(구조적 추론 경로)를 모두 제공하여 모델 추론의 종합적 평가를 가능하게 한다.