[논문 리뷰] Enhancing Answer Boundary Detection for Multilingual Machine Reading Comprehension

Fei Yuan, Linjun Shou외 6명|arXiv (Cornell University)|2020. 04. 29.

Topic Modeling참고 문헌 29인용 수 6

한 줄 요약

이 논문은 다국어 기계 읽기 이해(MRC)에서 답변 경계 검출을 향상시키기 위해 혼합 다국어 MRC(mixMRC)와 언어에 관계없는 지식 마스킹(LAKM)이라는 두 가지 보조 과제를 제안한다. 특히 자원이 적은 언어에 대해 성능을 향상시킨다. 교차 언어적 질문-문서 쌍과 웹에서 추출한 지식 어휘를 활용함으로써, 스페인어와 독일어에서 최대 4.7%의 EM 향상을 기록했으며, BERT 및 XLM 기반 모델 대비 자원이 적은 언어에서 뚜렷한 성능 향상을 보였다.

ABSTRACT

Multilingual pre-trained models could leverage the training data from a rich source language (such as English) to improve performance on low resource languages. However, the transfer quality for multilingual Machine Reading Comprehension (MRC) is significantly worse than sentence classification tasks mainly due to the requirement of MRC to detect the word level answer boundary. In this paper, we propose two auxiliary tasks in the fine-tuning stage to create additional phrase boundary supervision: (1) A mixed MRC task, which translates the question or passage to other languages and builds cross-lingual question-passage pairs; (2) A language-agnostic knowledge masking task by leveraging knowledge phrases mined from web. Besides, extensive experiments on two cross-lingual MRC datasets show the effectiveness of our proposed approach.

연구 동기 및 목표

• 다국어 사전 훈련 모델이 스파니시 추출 MRC에서 성능 이면이 낮은 문제, 특히 자원이 적은 언어에 대해 해결한다.
• 추출형 MRC에서 핵심적인 답변 경계 검출 성능 향상이 필요하며, 문장 수준 과제에 비해 성능이 열등하다.
• 영어와 비영어 MRC 성능 간 격차, 특히 EM 지표에서의 격차를 줄인다.
• 다양한 언어 간 어휘 수준의 정렬과 지식 인식 표현 학습을 향상시키기 위해 보조 지도를 도입한다.

제안 방법

• 미세조정 중 질문이나 문서를 다른 언어로 번역함으로써 교차 언어적 질문-문서 쌍을 생성하는 혼합 MRC 과제를 제안한다.
• 웹에서 추출한 지식 어휘를 사용해 어휘 수준의 지도를 제공하는 언어에 관계없는 지식 마스킹(LAKM) 과제를 도입한다.
• 언어별로 특화된 어휘(예: 개체명, 명사어구)에 중점을 두고 언어에 관계없는 방법으로 각 언어별 지식 어휘를 생성한다.
• M-BERT, XLM 등의 다국어 모델을 mixMRC와 LAKM을 보조 과제로 하여 미세조정하여 답변 스팸 경계 검출 성능을 향상시킨다.
• 사전 훈련 중 지식 어휘를 [MASK] 토큰으로 대체하는 마스킹 전략을 사용하여 모델이 정확한 스팸 경계를 학습하도록 유도한다.
• mixMRC와 LAKM을 함께 훈련하여 교차 언어 정렬과 지식 인식 지도를 모두 활용한다.

실험 결과

연구 질문

• RQ1 혼합 언어 MRC 쌍을 통한 교차 언어 데이터 증강이 다국어 MRC에서 답변 경계 검출 성능 향상에 기여하는가?
• RQ2 마스킹 과제를 통해 언어에 관계없는 지식 어휘를 통합하면 자원이 적은 언어에서 성능 향상이 이루어지는가?
• RQ3 제안된 보조 과제가 다양한 답변 유형, 특히 개체명과 수치 스팸에 대해 성능에 어떤 영향을 미치는가?
• RQ4 영어 데이터만 사용할 경우 LAKM 과제가 제로샷 또는 소수의 샘플에서 MRC 성능을 얼마나 향상시킬 수 있는가?

주요 결과

• MLQA 데이터셋에서 M-BERT 기반 모델 대비 mixMRC와 LAKM의 조합은 스페인어에서 1.7% 향상되고 독일어에서 4.7% 향상되어 EM이 향상되었다.
• LAKM만을 사용할 경우 XLM 기반 모델에서 스페인어는 1.8% 향상되고 독일어는 3.2% 향상되었으며, 영어는 오직 0.5% 향상되어 자원이 적은 언어에서 더 뚜렷한 성능 향상을 보였다.
• MTQA 데이터셋에서 영어 데이터만 사용하는 제로샷 설정에서 LAKM은 영어에서 2.0% 향상되었고, 프랑스어에서 3.3%, 독일어에서 3.8% 향상되었다.
• 모든 언어에서 무작위 n-gram 마스킹 대비 LAKM은 0.2%에서 0.87%까지 EM 성능 향상을 보였으며, 지식 인식 마스킹의 필요성을 입증했다.
• 개체명 관련 답변 유형인 'full_name'과 'animal'에 대해 LAKM은 각각 mixMRC 대비 14.3%와 9.1%의 EM 향상을 기록했으며, 이는 개체명 커버리지가 더 우수하기 때문이다.
• 수치형 답변 유형('money', 'numeric' 등)은 mixMRC와 LAKM 간 유사한 성능 향상을 보였으며, 이러한 스팸에 대해 교차 언어 전이가 더 쉽게 이루어지는 것으로 나타났다.