[논문 리뷰] Investigating Prior Knowledge for Challenging Chinese Machine Reading Comprehension

Kai Sun, Dian Yu외 2명|arXiv (Cornell University)|2019. 04. 21.

Topic Modeling인용 수 9

한 줄 요약

이 논문은 실제 중국어를 모국어로 하지 않는 자들 대상 시험에서 유래한 자유형 다중선택 중국어 기계적 이해 데이터셋인 C3를 소개한다. 이 데이터셋은 문장 내용 통합과 다양한 사전 지식(언어학적 지식, 전문 분야 지식, 일반 세계 지식)을 요구한다. 尽管 최첨단 모델이 68.5%의 정확도를 기록했지만, 인간의 성능(96.0%)과는 상당한 격차가 존재하여 사전 지식의 핵심적 역할과 영어 MRC 데이터셋에서의 데이터 증강의 한계를 드러낸다.

ABSTRACT

Machine reading comprehension tasks require a machine reader to answer questions relevant to the given document. In this paper, we present the first free-form multiple-Choice Chinese machine reading Comprehension dataset (C^3), containing 13,369 documents (dialogues or more formally written mixed-genre texts) and their associated 19,577 multiple-choice free-form questions collected from Chinese-as-a-second-language examinations. We present a comprehensive analysis of the prior knowledge (i.e., linguistic, domain-specific, and general world knowledge) needed for these real-world problems. We implement rule-based and popular neural methods and find that there is still a significant performance gap between the best performing model (68.5%) and human readers (96.0%), especially on problems that require prior knowledge. We further study the effects of distractor plausibility and data augmentation based on translated relevant datasets for English on model performance. We expect C^3 to present great challenges to existing systems as answering 86.8% of questions requires both knowledge within and beyond the accompanying document, and we hope that C^3 can serve as a platform to study how to leverage various kinds of prior knowledge to better understand a given written or orally oriented text. C^3 is available at https://dataset.org/c3/.

연구 동기 및 목표

• 실제 중국어를 제2외국어로 배우는 시험의 요구사항을 반영한 자유형 다중선택 중국어 기계적 이해 데이터셋을 개발하는 것.
• 이 데이터셋의 질문을 해결하기 위해 요구되는 사전 지식의 유형과 역할(언어학적 지식, 전문 분야 지식, 일반 세계 지식)을 분석하는 것.
• 다중선택지의 타당성과 영어 MRC 데이터셋을 번역한 데이터 증강 기법이 모델 성능에 미치는 영향을 평가하는 것.
• 신경망 모델의 발전에도 불구하고 아직 해결되지 않은 중국어 MRC의 핵심 과제를 규명하는 것.
• 다국어 및 다언어 기계적 이해에서 사전 지식을 활용하는 향후 연구를 위한 기준을 제공하는 것.

제안 방법

• C3는 실제 중국어를 제2외국어로 배우는 시험에서 유래하였으며, 13,369건의 문서(대화 및 혼합 장르 텍스트)와 19,577개의 자유형 다중선택 질문을 포함한다.
• 이 데이터셋은 두 가지 하위 작업을 포함한다: 대화 기반 이해를 위한 ${\text{C}}_{\text{D}}^{3}$와 형식적인 혼합 장르 텍스트를 위한 ${\text{C}}_{\text{M}}^{3}$이다.
• 사전 지식 유형은 체계적으로 주석 처리되어 언어학적 지식, 전문 분야 지식, 일반 세계 지식의 여덟 가지 하위 유형(예: 원인-결과, 암시, 산술)으로 분류된다.
• 다중선택지의 타당성은 선택지 단어와 문서 간 유사도 점수 $\mathcal{S}(w_i, d)$를 사용하여 측정되며, $\max_i \mathcal{S}(w_i, d)$는 난이도의 대체 지표로 사용된다.
• BERT, Co-Matching, BERT-wwm-ext와 같은 신경망 모델을 C3에서 미세조정하여 지식 요구가 높은 질문 유형의 성능을 평가한다.
• 데이터 증강은 Google Translate를 사용해 영어 MRC 데이터셋(RACE 및 DREAM)을 중국어로 번역하고, 이를 C3 학습 데이터와 결합함으로써 수행된다.

실험 결과

연구 질문

• RQ1 C3 데이터셋의 질문을 해결하기 위해 필요한 사전 지식의 유형과 비율은 무엇이며, 문서 유형에 따라 어떻게 다를까?
• RQ2 다중선택지의 타당성은 중국어 MRC에서 질문 난이도와 모델 성능과 어떻게 관련이 있을까?
• RQ3 번역된 영어 MRC 데이터셋을 사용한 데이터 증강이 C3 벤치마크 성능 향상에 얼마나 기여할 수 있을까?
• RQ4 최첨단 모델과 데이터 증강에도 불구하고 C3에서 성능이 인간 수준에 크게 못 미치는 이유는 무엇일까?
• RQ5 다양한 유형의 사전 지식(예: 언어학적 지식 대비 세계 지식)은 모델의 행동과 오류 패턴에 어떻게 영향을 미칠까?

주요 결과

• C3의 86.8%의 질문이 문서 외부의 지식을 요구하며, 이 중 57.3%는 일반 세계 지식을 필요로 하여 높은 복잡도를 보인다.
• 성능이 가장 뛰어난 모델(BERT-wwm-ext)은 68.5%의 정확도를 기록했지만, 인간 독자는 96.0%의 성능을 기록하여 상당한 성능 격차가 존재한다.
• 다중선택지의 타당성은 모델의 난이도와 강하게 상관된다: 가장 타당성이 높은 선택지가 문서와 유사할수록 성능이 크게 떨어진다.
• RACE와 DREAM에서 유래한 94,000개의 번역된 영어 인스턴스를 사용한 데이터 증강은 정확도를 4.6% 뿐 향상시켰다(67.8%에서 72.4%로), 이는 이전 데이터의 이식 가능성에 한계가 있음을 시사한다.
• C3와 영어 MRC 데이터를 모두 사용해 다국어 BERT를 미세조정하면 C3 데이터만 사용해 중국어 BERT를 미세조정한 것보다 성능이 낮다(63.4% 대비 65.7%), 이는 교차 언어 전이가 최적화되지 않았음을 의미한다.
• 정답이 문서에 명시적으로 언급되지 않을 때(낮은 $\mathcal{S}(c,d)$일 때), 일반 세계 지식이 매우 중요해지며, 선택지가 문서와 유사도가 높을 때(높은 $\max_i \mathcal{S}(w_i,d)$일 때)는 언어학적 지식이 더 중요해진다.