[논문 리뷰] TriviaQA: A Large Scale Distantly Supervised Challenge Dataset for Reading Comprehension

Mandar Joshi, Eunsol Choi외 2명|arXiv (Cornell University)|2017. 05. 09.

Topic Modeling인용 수 5

한 줄 요약

TriviaQA는 650,000개 이상의 질문-답변-증거 삼중항을 포함한 대규모, 원거리 지도 학습 기반 독해 데이터셋으로, 질문은 증거 문서와 독립적으로 트리비아 애호가들이 작성한다. 복잡하고 구성적인 질문을 포함하며, 어휘적·구문적 다양성이 높아 다중 문장 추론이 필요하며, 최신 모델의 성능은 인간 성능의 40% 수준에 머물러 있어未래 연구에 있어 도전 과제임을 시사한다.

ABSTRACT

We present TriviaQA, a challenging reading comprehension dataset containing over 650K question-answer-evidence triples. TriviaQA includes 95K question-answer pairs authored by trivia enthusiasts and independently gathered evidence documents, six per question on average, that provide high quality distant supervision for answering the questions. We show that, in comparison to other recently introduced large-scale datasets, TriviaQA (1) has relatively complex, compositional questions, (2) has considerable syntactic and lexical variability between questions and corresponding answer-evidence sentences, and (3) requires more cross sentence reasoning to find answers. We also present two baseline algorithms: a feature-based classifier and a state-of-the-art neural network, that performs well on SQuAD reading comprehension. Neither approach comes close to human performance (23% and 40% vs. 80%), suggesting that TriviaQA is a challenging testbed that is worth significant future study. Data and code available at -- http://nlp.cs.washington.edu/triviaqa/

연구 동기 및 목표

• 실제 세계의 복잡성을 반영하는 자연스러운 질문-답변 형식의 대규모 독해 데이터셋을 구축하는 것.
• 질문 생성과 증거 수집을 분리함으로써 편향을 줄이고 일반화 능력을 향상시키는 것.
• 다중 문장 추론, 어휘 및 문법적 다양성, 구성적 질문 이해를 테스트하는 벤치마크를 설계하는 것.
• 기존 데이터셋(SQuAD 등)을 초월하여 독해 모델 평가를 위한 도전적인 테스트베드를 제공하는 것.
• 미래의 연구를 지원하기 위해 개방형 QA, 지식 기반 통합, 텍스트 및 구조화된 데이터의 통합 모델링에 기여하는 것.

제안 방법

• 어떤 증거 자료와도 무관하게 트리비아 스타일의 자유형 질문 95,000개를 애호가들로부터 수집한다.
• 위키피디아 및 웹 검색 결과로부터 각 질문당 6개의 지원 증거 문서를 확보하여 다양한 정보 출처를 확보한다.
• 정렬에 대한 인간의 애너테이션 없이 질문과 관련 증거 문서를 일치시켜 원거리 지도 학습을 적용한다.
• 질문과 증거 문장 간의 어휘적·구문적 다양성이 높고, 다중 문장 추론이 필요한 질문을 포함하도록 데이터셋을 설계한다.
• 두 가지 베이스라인 모델을 구현한다: 특징 기반 분류기와 최신 신경망(BiDAF) 모델을 비교한다.
• 정확도 일치 및 F1 점수를 사용해 답변 구간 추출 성능을 평가하고, 인간 성능과 비교한다.

실험 결과

연구 질문

• RQ1 TriviaQA는 SQuAD 및 MS MARCO와 같은 기존 데이터셋에 비해 질문의 복잡성과 추론 요구 수준에서 어떻게 다를까?
• RQ2 질문과 증거 문장 간의 어휘적·구문적 변동성이 독해 모델에 얼마나 큰 도전을 가하는가?
• RQ3 현재 최신 신경망 모델들이 TriviaQA의 복잡하고 다중 문장 추론을 요구하는 과제에 일반화할 수 있는가?
• RQ4 현재 모델과 인간 성능 사이의 성능 격차는 어느 정도인가?
• RQ5 복잡도가 증가한 상황에서 TriviaQA에서의 성능은 SQuAD에서의 성능과 비교해 어떻게 나타나는가?

주요 결과

• TriviaQA는 650,000개 이상의 질문-답변-증거 삼중항을 포함하며, 질문은 증거 문서와 독립적으로 작성되어 애너테이션 편향을 줄였다.
• SQuAD에 비해 다중 문장 추론이 필요한 질문의 비율이 크게 높으며, 3배 이상 높아 추론 모델에 있어 더 큰 도전 과제가 된다.
• 질문과 답변을 뒷받침하는 문장 간에 상당한 어휘적·구문적 다양성이 나타나는 질문 비율이 높다.
• 베이스라인 모델 중 가장 뛰어난 성능을 보인 BiDAF는 TriviaQA에서 F1 점수 40%를 기록했고, SQuAD에서는 68%를 기록하여 큰 성능 격차가 있음을 시사한다.
• 인간 성능은 TriviaQA에서 F1 점수 79.7%를 기록하여 현재 모델과 인간 수준 이해 사이에 35% 이상의 격차가 있음을 보여준다.
• 결과적으로 TriviaQA는 현재 기술 수준을 초월해 추론, 일반화, 이해 능력 향상이 요구되는 도전적인 벤치마크임을 확인한다.