[논문 리뷰] HotpotQA: A Dataset for Diverse, Explainable Multi-hop Question Answering

Zhilin Yang, Peng Qi외 5명|arXiv (Cornell University)|2018. 09. 25.

Topic Modeling참고 문헌 16인용 수 111

한 줄 요약

HotpotQA introduces 113k Wikipedia-based QA pairs requiring multi-hop reasoning without KB constraints, provides sentence-level supporting facts for explainability, and adds novel comparison questions.

ABSTRACT

Existing question answering (QA) datasets fail to train QA systems to perform complex reasoning and provide explanations for answers. We introduce HotpotQA, a new dataset with 113k Wikipedia-based question-answer pairs with four key features: (1) the questions require finding and reasoning over multiple supporting documents to answer; (2) the questions are diverse and not constrained to any pre-existing knowledge bases or knowledge schemas; (3) we provide sentence-level supporting facts required for reasoning, allowing QA systems to reason with strong supervision and explain the predictions; (4) we offer a new type of factoid comparison questions to test QA systems' ability to extract relevant facts and perform necessary comparison. We show that HotpotQA is challenging for the latest QA systems, and the supporting facts enable models to improve performance and make explainable predictions.

연구 동기 및 목표

• 다중 문서에 걸친 다중-호프 추론이 필요한 데이터셋의 필요성을 제시한다.
• 질문과 대답의 다양화를 위해 고정된 KB 스키마 없이 대규모의 Wikipedia 기반 QA 데이터셋을 제공한다.
• 예측을 설명하기 위한 문장 수준의 지원 사실 수집을 통해 강한 감독을 가능하게 한다.
• 산술 및 교차 엔티티 추론을 테스트하기 위한 비교 질문을 도입한다.
• 지원 사실을 통한 QA 정확도와 설명가능성을 평가하는 벤치마크를 제공한다.

제안 방법

• 다중 호핑 추론을 위한 다리 엔티티를 식별하기 위해 첫 문단 하이퍼링크로부터 위키피디아 하이퍼링크 그래프를 구성한다.
• 그래프의 간선과 큐레이션된 다리 엔티티를 통해 후보 단락 쌍을 생성하여 의미 있는 다중 호핑 질문을 만든다.
• 강력한 감독 및 설명을 위해 답을 정당화하는 지원 사실 문장을 수집한다.
• 실체 간 사실 및 수치 추론을 테스트하기 위한 새로운 질문 유형인 비교 질문을 만든다.
• 정답 범위와 지원 사실을 모두 예측하는 다중 작업 목표를 가진 엔드-투-엔드 QA 모델을 개발하고, 예/아니오 질문에 대해 예/아니오/범위 결정 분기를 포함한다.
• 방해자(distractor) 및 전체 위키 풀 검색 설정에서 정답 정확도와 설명가능성 지표를 모두 사용해 QA 성능을 평가한다.

실험 결과

연구 질문

• RQ1 다중 문서에 걸친 추론이 필요한 진정한 다중 호핑 텍스트 기반 질문에서 기존 QA 모델의 성능은 어느 정도인가?
• RQ2 문장 수준의 지원 사실을 제공하는 것이 QA 정확도와 모델 예측의 설명 가능성을 모두 개선할 수 있는가?
• RQ3 검색 난이도(distractor 대 full Wiki)가 다중 호핑 QA 성능에 미치는 영향은 무엇인가?
• RQ4 비교 질문과 예/아니오 질문이 QA 도전과 모델 능력에 어떤 영향을 미치는가?
• RQ5 HotpotQA에 필요한 다중 호핑 추론 유형의 분포와 특성은 무엇인가?

주요 결과

• 다중 문서에 걸친 다중 호핑 추론을 요구하는 대규모 데이터셋(112,779 예시).
• 다른 노이즈 수준에서 검색 및 추론을 테스트하기 위한 두 가지 벤치마크 설정(distractor와 full wiki).
• 지원 사실에 대한 강력한 감독은 QA 성능을 높이고 설명 가능성을 가능하게 한다(지원 사실 예측).
• 기준 모델은 인간 성능에 비해 상당히 낮고, 특히 전체 위키 검색에서 그렇다, 검색이 주요 병목 현상임을 강조한다.
• 문자 수준 및 셀프 어텐션 구성 요소가 성능에 기여하며, 제거 실험은 지원 사실과 훈련 데이터 다양성의 가치를 보여준다.
• 대다수의 질문은 다리 엔티티 기반 체인 추론(Type I) 또는 비교 기반 추론을 필요로 하며, 상당 부분이 다수의 지원 사실이 필요하다.