[논문 리뷰] RACE: Large-scale ReAding Comprehension Dataset From Examinations

Guokun Lai, Qizhe Xie외 3명|arXiv (Cornell University)|2017. 04. 15.

Topic Modeling참고 문헌 18인용 수 112

한 줄 요약

RACE는 중국의 중·고등학교 영어 시험에서 추출한 대규모 인간 생성 독해 데이터셋을 도입하여 추론 중심의 질문과 광범위한 주제 커버리지를 강조하고 기계 독해 시스템을 도전하고 평가합니다. 또한 베이스라인과 인간 한계치를 제공하여 최첨단 모델과 인간 성능 간의 상당한 격차를 보여줍니다.

ABSTRACT

We present RACE, a new dataset for benchmark evaluation of methods in the reading comprehension task. Collected from the English exams for middle and high school Chinese students in the age range between 12 to 18, RACE consists of near 28,000 passages and near 100,000 questions generated by human experts (English instructors), and covers a variety of topics which are carefully designed for evaluating the students' ability in understanding and reasoning. In particular, the proportion of questions that requires reasoning is much larger in RACE than that in other benchmark datasets for reading comprehension, and there is a significant gap between the performance of the state-of-the-art models (43%) and the ceiling human performance (95%). We hope this new dataset can serve as a valuable resource for research and evaluation in machine comprehension. The dataset is freely available at http://www.cs.cmu.edu/~glai1/data/race/ and the code is available at https://github.com/qizhex/RACE_AR_baselines.

연구 동기 및 목표

• 기존 벤치마크를 넘어 더 도전적이고 다양한 독해 데이터세트의 필요성을 제시한다.
• 12–18세를 대상으로 한 영어 시험에 기반한 대규모의 인간이 생성한 QA 데이터셋을 만들어 추론 능력을 평가한다.
• 더 넓은 주제/스타일 커버리지와 비-스팬 기반의 정답 옵션을 보장하여 깊이 있는 이해를 요구한다.

제안 방법

• 중국의 중·고등학교 수준(나이 12–18세)의 영어 시험 지문과 문제를 수집한다.
• 자족성이 부족한 항목, 이미지 기반 정답, 형식 불일치를 제거하기 위해 데이터를 필터링하고 정리한다.
• 사람이 생성한 질문과 네 지문이 아닌 선택지가 있을 수 있는 4지선다형 정답을 사용한다.
• 데이터를 RACE-M(중학교)과 RACE-H(고등학교)로 분할하고 학습/개발/테스트 세트를 구성한다.
• SGD 학습과 Glove 임베딩을 사용하여 Sliding Window, Stanford Attentive Reader, Gated-Attention Reader를 포함한 베이스라인을 평가한다.
• 크라우드 워커 라벨링과 문제 유효성의 수동 검증을 통해 인간 최고치 추정치를 제공한다.

실험 결과

연구 질문

• RQ1 기존 QA 데이터셋과 비교해 RACE에서 요구하는 추론 유형의 분포와 난이도는 어떻게 되는가?
• RQ2 최첨단 기계 독해 모델은 이 시험 기반 데이터셋에서 인간 성능에 비해 어떤 성능을 보이는가?
• RQ3 RACE의 더 넓은 도메인/스타일 커버리지와 비-스팬 기반 질문이 다문장 및 문장 간 추론의 필요성을 증가시키는가?
• RQ4 RACE 내의 추론 하위 분류(세부, 전체적 그림, 요약, 태도 분석, 세계 지식)의 특성과 비율은 어떤가?

주요 결과

• RACE는 27,933개 구절과 97,687개의 문제를 포함하며, 상당 부분이 표면 단어 매칭을 넘는 추론을 요구한다.
• 인간 한계 성능은 높고(약 95%), 최첨단 모델은 상당히 뒤처져 있다(예: Stanford AR, GA가 RACE에서 약 43–44%), 개선의 여지가 크다.
• 추론이 RACE의 지배적 도전이며, CNN/Daily Mail, SQUAD, NEWSQA보다 단일문장 및 다문장 추론의 비율이 더 높다.
• RACE의 두 가지 새로운 추론 하위 분류—지문 요약과 태도 분석—은 기존의 대규모 데이터셋에서 충분히 탐구되지 않았다.
• RACE는 폭넓은 도메인/스타일 커버리지(뉴스, 이야기, 광고, 전기, 철학 등)를 보여주어 일반 독해의 다목적 벤치마크가 된다.