[논문 리뷰] DRCD: a Chinese Machine Reading Comprehension Dataset

Chih-Chieh Shao, Trois Liu외 3명|arXiv (Cornell University)|2018. 06. 04.

Topic Modeling참고 문헌 9인용 수 85

한 줄 요약

본 논문은 DRCD를 도입합니다. 이는 10,014개의 단락과 2,108개의 위키피디아 문서에서 추출한 전통 중국어 MRC 데이터셋과 30k+개의 질문을 포함하며, baseline F1 89.59%와 사람의 F1 93.30%를 제시합니다.

ABSTRACT

In this paper, we introduce DRCD (Delta Reading Comprehension Dataset), an open domain traditional Chinese machine reading comprehension (MRC) dataset. This dataset aimed to be a standard Chinese machine reading comprehension dataset, which can be a source dataset in transfer learning. The dataset contains 10,014 paragraphs from 2,108 Wikipedia articles and 30,000+ questions generated by annotators. We build a baseline model that achieves an F1 score of 89.59%. F1 score of Human performance is 93.30%.

연구 동기 및 목표

• 전이 학습을 위한 표준 중국어 기계 독해 데이터셋을 제공한다.
• 벤치마킹을 위한 대규모의 오픈 도메인 전통 중국어 MRC 자원을 제공한다.
• 현실적인 단락과 질문의 혼합으로 중국어 MRC에서 모델 평가를 가능하게 한다.

제안 방법

• 오픈 도메인 소스에서 전통 중국어 MRC 데이터를 수집하고 주석을 다는 것.
• 10,014개의 단락을 2,108개의 위키피디아 기사에서 모으고 30,000+개의 질문을 구성한다.
• F1를 벤치마크하고 인간 성능과 비교하기 위한 기준 모델을 설정한다.
• 데이터셋에서 Baseline F1 점수 89.59%와 인간 성능 93.30%를 보고한다.

실험 결과

연구 질문

• RQ1 DRCD의 전통 중국어 MRC에 대해 기본 모델이 얼마나 잘 수행할 수 있는가?
• RQ2 DRCD에서 모델 성능과 인간 성능 사이의 차이는 어느 정도인가?
• RQ3 DRCD가 중국어 MRC의 전이 학습에 효과적인 소스 데이터셋이 될 수 있는가?
• RQ4 크기와 원천 다양성 측면에서 DRCD 데이터셋의 특징은 무엇인가?

주요 결과

• Baseline 모델은 F1 점수 89.59%를 달성한다.
• DRCD에서의 인간 성능은 F1 점수 93.30%를 산출한다.
• 데이터셋은 10,014개의 단락으로 구성되며 2,108개의 위키피디아 기사에서 30,000+개의 질문을 포함한다.
• DRCD는 벤치마킹 및 전이 학습에 적합한 오픈 도메인 전통 중국어 MRC 자원으로서 작용한다.