[논문 리뷰] Dataset for the First Evaluation on Chinese Machine Reading Comprehension

Yiming Cui, Ting Liu외 4명|arXiv (Cornell University)|2017. 09. 25.

Topic Modeling참고 문헌 11인용 수 9

한 줄 요약

이 논문은 자동으로 생성된 클로즈 스타일 훈련 데이터와 인간이 애너테이션한 검증 및 테스트 세트를 포함한 첫 번째 대규모 중국어 기계 독해 이해(MRC-2017) 데이터셋을 소개한다. 이는 클로즈 스타일 및 자연어 사용자 질의 독해 이해 과제를 위한 것이다. 이 데이터셋은 강력한 신경 기반 베이스라인을 통해 벤치마크 평가를 가능하게 했으며, AoA 리더가 은닉 테스트 세트에서 51.53% F1을 기록하여 중국어 MRC 연구의 발전에 기여함을 보여주었다.

ABSTRACT

Machine Reading Comprehension (MRC) has become enormously popular recently and has attracted a lot of attention. However, existing reading comprehension datasets are mostly in English. To add diversity in reading comprehension datasets, in this paper we propose a new Chinese reading comprehension dataset for accelerating related research in the community. The proposed dataset contains two different types: cloze-style reading comprehension and user query reading comprehension, associated with large-scale training data as well as human-annotated validation and hidden test set. Along with this dataset, we also hosted the first Evaluation on Chinese Machine Reading Comprehension (CMRC-2017) and successfully attracted tens of participants, which suggest the potential impact of this dataset.

연구 동기 및 목표

• 다양하고 커뮤니티 사용에 적합한 벤치마크를 만들기 위해, 대규모 고품질 중국어 독해 이해 데이터셋의 부족을 보완하고자 한다.
• 특히 저자원 및 저자원 유사 환경을 고려하여 중국어에서 기계 독해 이해 모델의 개발 및 평가를 지원하고자 한다.
• 중국어 MRC에 대한 첫 공식 평가(CMRC-2017)를 주최하여 커뮤니티 참여와 모델 비교를 촉진하고자 한다.
• 실제 사용자 요구를 반영하기 위해 클로즈 스타일과 자연어 사용자 질의 독해 이해 과제를 모두 제공하고자 한다.
• 공식 베이스라인 4종과 은닉 테스트 세트를 제공하여 공정하고 재현 가능한 평가를 보장하고자 한다.

제안 방법

• 클로즈 스타일 훈련 데이터는 어린이 독서 자료에서 명시적 실체나 내용 어휘를 공백으로 대체하여 자동으로 생성되었다.
• 클로즈 스타일 및 사용자 질의 트랙 모두에 대해 인간이 애너테이션한 검증 및 테스트 세트를 구축하여 고품질의 자연스러운 질문-답변 쌍을 확보하였다.
• 사용자 질의 트랙은 클로즈 형식에 비해 더 자연스럽고 개방형 질문을 포함하여 실제 사용자 행동을 시뮬레이션한다.
• 네 가지 베이스라인 시스템을 구현하였다: 무작위 추측, 빈도가 높은 단어 선택, AS 리더, AoA 리더이며, 초모수는 원본 논문과 동일하게 유지되었다.
• 사용자 질의 트랙에서는 교차 검증 및 드롭아웃 비율 증가를 통해 분포 이탈을 완화하기 위해 전이 학습 및 도메인 적응 기법을 적용하였다.
• 평가를 공개 경쟁 방식으로 진행하였으며, 은닉 테스트 세트를 사용하여 모델 성능 평가의 편향을 방지하였다.

실험 결과

연구 질문

• RQ1 최근에 공개된 대규모 중국어 클로즈 스타일 MRC 데이터셋에서 기존의 신경 기반 독해 이해 모델의 효과성은 어떠한가?
• RQ2 인간이 애너테이션한 테스트 세트는 중국어와 같이 저자원 언어에서 MRC 평가의 신뢰성과 타당성을 향상시키는 데 기여하는가?
• RQ3 중국어에서 클로즈 스타일과 자연어 사용자 질의 독해 이해 과제 간 모델 성능의 차이는 어떠한가?
• RQ4 전이 학습 및 도메인 적응 기법을 통해 도메인 외부 사용자 질의 데이터에 대한 모델 일반화 능력은 얼마나 향상될 수 있는가?
• RQ5 AoA 리더와 같은 강력한 신경 기반 베이스라인은 중국어 MRC 벤치마크에서 미세조정 없이도 참가자 모델을 초월할 수 있는가?

주요 결과

• AoA 리더 베이스라인은 사용자 질의 트랙의 은닉 테스트 세트에서 51.53% F1을 기록하여 모든 참가자 시스템을 앞섰다.
• 클로즈 트랙에서 가장 뛰어난 단일 모델 참가자 시스템은 ECNU의 앙상블 모델에 미치지 못했으며, 이는 앙상블 방법의 중요성을 시사한다.
• 사용자 질의 트랙의 참가자 시스템은 클로즈 트랙보다 유의미하게 낮은 성능(예: 49.07% F1)을 보였으며, 이는 훈련 데이터와 테스트 데이터 간의 큰 도메인 이탈을 시사한다.
• 빈도 기반 베이스라인은 검증 세트에서 10.65% F1을 기록하여, 저자원 환경에서 단순 히ュ리스틱 기법이 강력한 베이스라인 역할을 할 수 있음을 보여준다.
• ECNU 앙상블 시스템은 사용자 질의 테스트 세트에서 69.53% F1을 기록하여, 모델 앙상블이 도메인 적응에 효과적임을 입증하였다.
• 데이터셋과 경쟁 대회 공개는 30명 이상의 참가자를 유치하여 중국어 NLP 커뮤니티에서의 관련성과 영향력을 검증하였다.