[논문 리뷰] Quasar: Datasets for Question Answering by Search and Reading

Bhuwan Dhingra, Kathryn Mazaitis외 1명|arXiv (Cornell University)|2017. 07. 12.

Topic Modeling참고 문헌 2인용 수 139

한 줄 요약

두 개의 대형 QA 데이터셋(Quasar-S 및 Quasar-T)을 도입하여 두 가지 하위 작업(검색(search)과 읽기(reading(추출형 QA)))를 통해 대형 텍스트 코퍼스에서 엔드-투-엔드 QA를 평가한다.

ABSTRACT

We present two new large-scale datasets aimed at evaluating systems designed to comprehend a natural language query and extract its answer from a large corpus of text. The Quasar-S dataset consists of 37000 cloze-style (fill-in-the-gap) queries constructed from definitions of software entity tags on the popular website Stack Overflow. The posts and comments on the website serve as the background corpus for answering the cloze questions. The Quasar-T dataset consists of 43000 open-domain trivia questions and their answers obtained from various internet sources. ClueWeb09 serves as the background corpus for extracting these answers. We pose these datasets as a challenge for two related subtasks of factoid Question Answering: (1) searching for relevant pieces of text that include the correct answer to a query, and (2) reading the retrieved text to answer the query. We also describe a retrieval system for extracting relevant sentences and documents from the corpus given a query, and include these in the release for researchers wishing to only focus on (2). We evaluate several baselines on both datasets, ranging from simple heuristics to powerful neural models, and show that these lag behind human performance by 16.4% and 32.1% for Quasar-S and -T respectively. The datasets are available at https://github.com/bdhingra/quasar .

연구 동기 및 목표

• 대형 텍스트 코퍼스에서 검색과 읽기가 모두 필요한 오픈 도메인 사실형 QA를 연구하기 위한 대규모 데이터셋을 제공한다.
• 검색 및 읽기 과제에서 엔드투엔드 QA 시스템과 기준선을 평가한다.
• 구조화되지 않은 텍스트에 대한 엔드태스크 성능을 향상시키기 위해 검색과 읽기의 공동 연구를 촉진한다.

제안 방법

• 두 데이터셋을 만들다: Quasar-S(Stack Overflow 정의에서 37,000개 이상의 cloze 스타일 질문)와 Quasar-T(43,000개 이상의 오픈 도메인 퀴즈 질문).
• 대형 백그라운드 코퍼스 구성: Quasar-S용 Stack Overflow 토론 스레드와 Quasar-T용 ClueWeb09.
• Quasar-S는 고정된 답변 어휘를 가진 질문을, Quasar-T는 자유 형식의 span을 가진 질문으로 구성한다.
• 두 단계로 구성된 검색 개발: 반관련 가짜 문서를 수집하고, Lucene 인덱스를 구축하며, 상위 문서를 질문과 헤드 태그(Quasar-S) 또는 질문 텍스트만(Quasar-T)에 조건화하여 검색한다.
• 후보 정답 목록 구성: Quasar-S는 4,874개의 엔티티로 구성된 폐쇄 어휘를 사용하고, Quasar-T는 맥락에서 품사 태깅을 통해 명사구 후보를 도출한다.
• 휴리스틱, 전통적 언어 모델, 독해-이해 아키텍처(GA Reader, BiDAF)를 포함하는 베이스라인 모델을 평가한다.

실험 결과

연구 질문

• RQ1 대형의 비정형 코퍼스에서 검색과 읽기를 효과적으로 결합해 엔드투엔드 QA 시스템이 작동할 수 있는가?
• RQ2 도메인 특화(Quasar-S)과 오픈도메인(Quasar-T) 데이터셋에서 검색 보강 QA 베이스라인이 인간 성능과 어떻게 비교되는가?
• RQ3 검색 문서 수가 검색 성능 대 읽기 성능에 미치는 영향은 무엇인가?
• RQ4 신경 독자가 노이즈가 많거나 대규모 배경 코퍼라가 있을 때 휴리스틱 베이스라인보다 우수한가?

주요 결과

• BiRNN 언어 모델은 Quasar-S에서 33.6% 정확도를 달성하며 베이스라인 중 최고였다.
• GA Reader는 Quasar-S의 맥락에 정답이 있는 하위집합에서 48.3% 정확도를 보이나, 전반적 성능은 검색 품질(65% 검색 정확도)에 의해 제한된다.
• Quasar-T의 경우 BiDAF가 베이스라인 중 가장 높은 F1 점수 28.5%를 달성했으나 인간 성능(약 32.1%)에 비해 여전히 큰 차이가 있다.
• 신경 모델은 휴리스틱 베이스라인을 크게 능가하지만 여전히 인간보다 뒤처져 있으며, 검색-읽기를 함께 수행하는 시스템의 개선 여지가 있음을 시사한다.
• 검색되는 문서 수를 늘리면 검색 커버리지가 증가하지만 더 길고 소음이 많은 구문으로 인해 읽기 정확도가 떨어질 수 있다.
• 오픈북 비전문가가 백그라운드 검색을 제공받으면 전문가에 필적하거나 능가할 수 있으며, 이는 QA 성능을 위한 접근 가능한 검색의 역할을 강조한다.