[논문 리뷰] DuReader: a Chinese Machine Reading Comprehension Dataset from Real-world Applications

Wei He, Kai Liu외 11명|arXiv (Cornell University)|2017. 11. 14.

Topic Modeling참고 문헌 19인용 수 51

한 줄 요약

DuReader는 Baidu 검색 로그와 Zhidao를 기반으로 한 대규모의 실제 중국어 MRC 데이터세트를 도입하고, 다양한 질의 유형을 제시하며, 사람 성능과의 격차를 보여주는 베이스라인 결과를 제공합니다.

ABSTRACT

This paper introduces DuReader, a new large-scale, open-domain Chinese ma- chine reading comprehension (MRC) dataset, designed to address real-world MRC. DuReader has three advantages over previous MRC datasets: (1) data sources: questions and documents are based on Baidu Search and Baidu Zhidao; answers are manually generated. (2) question types: it provides rich annotations for more question types, especially yes-no and opinion questions, that leaves more opportunity for the research community. (3) scale: it contains 200K questions, 420K answers and 1M documents; it is the largest Chinese MRC dataset so far. Experiments show that human performance is well above current state-of-the-art baseline systems, leaving plenty of room for the community to make improvements. To help the community make these improvements, both DuReader and baseline systems have been posted online. We also organize a shared competition to encourage the exploration of more models. Since the release of the task, there are significant improvements over the baselines.

연구 동기 및 목표

• Baidu Search와 Baidu Zhidao에서 소스된 질문과 문서를 사용하여 실제 세계의 MRC 도전 과제를 다룬다.
• 예/아니오 및 의견 질문을 포함한 풍부한 질의 유형 주석을 제공한다.
• 실용적 MRC 시나리오를 반영하기 위해 200k개의 질문, 1M개의 문서, 420k+개의 답변으로 확장한다.

제안 방법

• 분류기 보조 샘플링 파이프라인을 통해 검색 로그에서 질문을 수집한다.
• Baidu Search와 Baidu Zhidao에서 문서를 수집하고 문단 수준 추론을 위해 전체 문서를 보존한다.
• 질문에 6가지 유형(Entity, Description, YesNo)과 2개의 면(Fact, Opinion)을 주석한다.
• 관련 문서 전체에서 요약하고 뒷받침 문장을 모아 대답을 크라우드소싱한다.
• Baseline MRC 모델(Match-LSTM, BiDAF)을 사용해 두 단계의 단락 선택 및 정답 범위 절차로 평가한다.
• 의견 라벨과 일치하도록 YesNo 질문에 대한 의견 인식 평가를 제안한다.

실험 결과

연구 질문

• RQ1 검색 로그와 CQA 플랫폼에서 추출한 실제 중국어 데이터에서 MRC가 얼마나 잘 수행되는가?
• RQ2 Fact/Opinion 분류에 걸쳐 여섯 가지 질문 유형(Entity, Description, YesNo)을 모델이 다룰 수 있는가?
• RQ3 전체 문서 대 단일 단락 사용 시 MRC 성능에 어떤 영향이 있는가?
• RQ4 길고 다문서 입력에서 현재의 범위 기반 MRC 모델은 얼마나 효과적인가?
• RQ5 의견 인식 평가를 도입하면 YesNo 질문의 평가가 얼마나 개선되는가?

주요 결과

• DuReader는 200k개의 질문, 1M개의 문서, 그리고 420k개 이상의 사람이 요약한 답변을 포함하여 당시 중국어 MRC 데이터세트 중 가장 큰 규모였다.
• 문단 선택을 사용하는 베이스라인 모델(Match-LSTM, BiDAF)은 문단 기준 베이스라인보다 성능이 향상되지만 여전히 인간의 성능에 미치지 못한다.
• Gold-단락 평가가 모델 성능을 크게 끌어올림으로써 효과적인 단락 선택의 중요성을 강조한다.
• YesNo 및 의견 질문은 설명 질문보다 모델에 더 어려우며 Baidu Search와 Baidu Zhidao 소스 간에도 모델 성능이 차이가 있다.
• 의견 인식 평가 체계는 YesNo에 대한 답변에 명시적 의견 레이블(Yes/No/Depends)을 매핑함으로써 평가를 개선한다.
• 인간의 성능은 현재 모델보다 여전히 크게 높아 방법론적 진보의 여지가 크다는 것을 시사한다.