[논문 리뷰] Probing Prior Knowledge Needed in Challenging Chinese Machine Reading Comprehension.

Kai Sun, Dian Yu외 2명|arXiv (Cornell University)|2019. 04. 21.

Topic Modeling참고 문헌 47인용 수 16

한 줄 요약

이 논문은 중국어 어학 능력 시험에서 유래한 13,369건의 문서와 19,577개의 질문을 포함한 자유형 다중선택지 중국어 기계독해 데이터셋 C^3을 소개한다. 이 데이터셋은 질문의 86.8%가 텍스트 외부의 지식을 필요로 함을 드러내며, 최신 기술 모델이 68.5%의 정확도를 기록한 반면 인간의 성능(96.0%)과는 큰 격차가 존재함을 시사한다. 이는 기계독해 시스템에서 언어적 지식, 영역 전문 지식, 세계 지식을 보다 효과적으로 통합할 필요성이 크다는 것을 강조한다.

ABSTRACT

Machine reading comprehension tasks require a machine reader to answer questions relevant to the given document. In this paper, we present the first free-form multiple-Choice Chinese machine reading Comprehension dataset (C^3), containing 13,369 documents (dialogues or more formally written mixed-genre texts) and their associated 19,577 multiple-choice free-form questions collected from Chinese-as-a-second-language examinations. We present a comprehensive analysis of the prior knowledge (i.e., linguistic, domain-specific, and general world knowledge) needed for these real-world problems. We implement rule-based and popular neural methods and find that there is still a significant performance gap between the best performing model (68.5%) and human readers (96.0%), especially on problems that require prior knowledge. We further study the effects of distractor plausibility and data augmentation based on translated relevant datasets for English on model performance. We expect C^3 to present great challenges to existing systems as answering 86.8% of questions requires both knowledge within and beyond the accompanying document, and we hope that C^3 can serve as a platform to study how to leverage various kinds of prior knowledge to better understand a given written or orally oriented text. C^3 is available at this https URL.

연구 동기 및 목표

• 실제 외국어 시험 환경을 반영하는 종합적인 중국어 기계독해 데이터셋을 개발하기 위해.
• 기계독해 질문을 해결하기 위해 요구되는 사전 지식의 유형—언어적 지식, 영역 전문 지식, 일반 세계 지식—을 분석하기 위해.
• 지식 집약적인 독해 과제에서 신경망 모델과 인간 독자 간의 성능 격차를 평가하기 위해.
• 영문 병렬 데이터셋을 활용한 데이터 증강과 선택지의 신뢰성 여부가 모델 성능에 미치는 영향을 조사하기 위해.

제안 방법

• C^3 데이터셋은 실제 중국어를 제2외국어로 배우는 학습자를 대상으로 한 시험 문제에서 유래되었으며, 대화와 다양한 장르의 글을 포함한다.
• 질문은 자유형 다중선택지 형식으로, 단순한 추출적 답변을 넘어서 정교한 이해와 추론 능력이 요구된다.
• 규칙 기반 모델과 신경망 모델을 구현하여 데이터셋에서의 성능을 기준으로 삼았다.
• 선택지의 신뢰성은 모델의 결정 과정에 영향을 미치는 정도를 평가하여 분석하였다.
• 영문 MRC 데이터셋을 번역하여 데이터 증강을 적용하여 제로샷 일반화 성능을 향상시켰다.
• 각 질문의 인지적 요구 수준을 분류하기 위해 지식 유형에 대한 종합적 분석을 수행하였다.

실험 결과

연구 질문

• RQ1 중국어 기계독해에서 질문을 해결하기 위해 가장 자주 요구되는 사전 지식의 유형은 언어적 지식, 영역 전문 지식, 일반 세계 지식 중 어느 것인가?
• RQ2 지식 집약적인 중국어 독해 과제에서 신경망 모델의 성능은 인간 독자와 비교해 어떻게 되는가?
• RQ3 선택지의 신뢰성이 다중선택지 기계독해 질문의 모델 성능에 얼마나 큰 영향을 미치는가?
• RQ4 영문 MRC 데이터셋의 번역을 활용한 데이터 증강이 C^3 벤치마크에서 제로샷 성능 향상에 기여하는가?

주요 결과

• 최고의 신경망 모델이 68.5%의 정확도를 기록했지만, 인간의 성능(96.0%)과는 큰 격차가 존재하여 지식 통합 능력의 심각한 부족함을 시사한다.
• C^3 데이터셋의 질문 중 86.8%가 주어진 문서 내외의 지식을 모두 필요로 하며, 이는 데이터셋의 복잡성을 강조한다.
• 선택지의 신뢰성이 높아지자 성능 저하가 뚜렷하게 관찰되어 모델이 질문 설계에 민감함을 보였다.
• 영문 MRC 데이터셋의 번역을 활용한 데이터 증강은 제로샷 일반화 성능을 약간 향상시켰지만, 인간과 모델 간 격차는 여전히 존재했다.
• 분석 결과 언어적 지식과 세계 지식이 데이터셋에서 가장 자주 요구되는 사전 지식 유형임을 확인하였다.
• 규칙 기반 모델은 신경망 모델에 비해 성능이 열등했으며, 특히 세계 지식이 필요한 질문에서는 그 한계가 두드러져 상징적 접근의 한계를 드러냈다.