[논문 리뷰] A Vietnamese Dataset for Evaluating Machine Reading Comprehension

Kiet Van Nguyen, Duc-Vu Nguyen외 2명|arXiv (Cornell University)|2020. 09. 30.

Topic Modeling참고 문헌 32인용 수 7

한 줄 요약

이 논문은 베트남어를 위한 대규모 인간 주석이 달린 스판 추출 기계적 이해(MRC) 데이터셋인 UIT-ViQuAD를 소개한다. 이 데이터셋은 베트남어 위키백과의 5,109개의 문단에서 유래한 23,074개의 질문-답변 쌍을 포함한다. 테스트 세트에서 최대 87%의 F1 스코어를 기록했음에도 불구하고, 최신 기술 모델들은 여전히 인간 수준에 못 미치며, 저자원 베트남어 NLP 분야에서 추론 및 이해 능력 향상에 여전히 큰 여유가 있음을 시사한다.

ABSTRACT

Over 97 million people speak Vietnamese as their native language in the world. However, there are few research studies on machine reading comprehension (MRC) for Vietnamese, the task of understanding a text and answering questions related to it. Due to the lack of benchmark datasets for Vietnamese, we present the Vietnamese Question Answering Dataset (UIT-ViQuAD), a new dataset for the low-resource language as Vietnamese to evaluate MRC models. This dataset comprises over 23,000 human-generated question-answer pairs based on 5,109 passages of 174 Vietnamese articles from Wikipedia. In particular, we propose a new process of dataset creation for Vietnamese MRC. Our in-depth analyses illustrate that our dataset requires abilities beyond simple reasoning like word matching and demands single-sentence and multiple-sentence inferences. Besides, we conduct experiments on state-of-the-art MRC methods for English and Chinese as the first experimental models on UIT-ViQuAD. We also estimate human performance on the dataset and compare it to the experimental results of powerful machine learning models. As a result, the substantial differences between human performance and the best model performance on the dataset indicate that improvements can be made on UIT-ViQuAD in future research. Our dataset is freely available on our website to encourage the research community to overcome challenges in Vietnamese MRC.

연구 동기 및 목표

• 베트남어는 9700만 명 이상의 사용자를 가진 저자원 언어이지만, 기계적 이해(MRC)를 위한 벤치마크 데이터셋이 부족한 점을 해결하기 위해.
• 딥 러닝 모델의 훈련 및 평가에 적합한 고품질의 인간 주석이 달린 스판 추출 기반 MRC 데이터셋을 구축하기 위해.
• 모델의 능력이 단순한 단어 매칭을 넘어서는지를 평가하기 위해, 질문 유형, 추론 유형, 답변 구조 등을 포함한 언어적 복잡성 분석을 수행하기 위해.
• 영어 및 중국어 기반 최신 MRC 모델들(예: DrQA, QANet, mBERT, XLM-R)을 베트남어 데이터셋에 적용하여 인간 성능과 비교하기 위해.
• 향후 다국어 MRC 연구의 기반을 마련하고, 베트남어 NLP를 위한 고도화된 모델 개발을 촉진하기 위해.

제안 방법

• 174개의 베트남어 위키백과 기사에서 소스 문단을 선별하였으며, 질문-답변 쌍 생성에 5,109개의 문단을 사용하였다.
• 언어적 다양성과 추론 복잡성을 확보하기 위해 새로운 인간 주석 프로세스를 도입하여 23,074개의 질문-답변 쌍을 생성하였다.
• 질문 유형(누구, 무엇, 언제, 어디서, 왜, 어떻게 등), 답변 유형(스팬, 명사구, 위치 등), 추론 유형(단일 문장, 다중 문장, 애매한 등)으로 질문을 분류하였다.
• 개발 및 테스트 세트에서 F1 스코어를 주요 평가 지표로 사용하여 최신 MRC 모델들(DoQA, QANet, mBERT, XLM-R)의 성능을 평가하였다.
• 훈련 데이터 크기의 영향을 분석하기 위해 훈련 데이터 크기의 영향을 분석하기 위한 아블레이션 스터디를 수행하였다.
• 인간 평가를 통해 인간 성능을 추정하고, 이를 모델 출력과 직접 비교하여 성능 격차를 확인하였다.

실험 결과

연구 질문

• RQ1 영어 및 중국어 기반 최신 MRC 모델들이 저자원 언어인 베트남어로 일반화되는 정도는 어느 정도인가?
• RQ2 간단한 스판 추출을 넘어서, 다중 문장 추론이나 복잡한 질문 유형 등 어떤 언어적 및 추론적 과제들이 UIT-ViQuAD 데이터셋에 존재하는가?
• RQ3 다른 질문 유형(예: 왜, 어떻게, 어디서)과 답변 유형(예: 명사구, 위치)에 따라 MRC 모델의 성능은 어떻게 달라지는가?
• RQ4 훈련 데이터 크기가 베트남어 MRC 모델의 성능에 미치는 영향은 어떠하며, 영어 및 중국어 데이터셋에 훈련된 모델과 비교해보면 어떠한가?
• RQ5 다양한 언어적 측면에서 인간 성능과 모델 성능를 비교할 때, 현재 모델의 한계는 무엇을 드러내는가?

주요 결과

• 최고의 성능을 보인 모델인 XLM-R Large는 테스트 세트에서 F1 스코어 87%를 기록했지만, 이는 추정된 인간 성능 이하로 남아 있어 상당한 성능 격차가 존재함을 시사한다.
• 인간의 성능는 최고의 모델 성능보다 뚜렷이 높아, 현재 모델들이 베트남어의 복잡한 추론과 언어적 뉘앙스를 잘 처리하지 못하고 있음을 시사한다.
• 원인 분석이 필요한 질문 유형인 '왜', '어떻게', '어디서' 등은 모델의 F1 스코어가 가장 낮게 나타나, 인과적 및 위치적 추론 처리 능력이 열악함을 보여준다.
• 베트남어의 문법적 복잡성으로 인해 복잡한 명사구(전체의 22.86%)와 위치 답변이 모델에게 특히 어려운 답변 유형이 되었다.
• DrQA, QANet, mBERT와 같은 모델들은 훈련 데이터 증가에 따라 성능 향상을 보였지만, XLM-R Large는 모든 데이터 크기에서 86% 이상의 안정적인 성능을 유지하여 더 높은 데이터 효율성을 보였다.
• 이 데이터셋은 단순한 단어 매칭을 넘어서야 하며, 분석 결과 단일 문장 및 다중 문장 추론이 요구됨을 확인하여, 고급 추론 능력 평가에 적합함을 입증한다.