[논문 리뷰] BERT Based Multilingual Machine Comprehension in English and Hindi

Somil Gupta, Nilesh Khade|arXiv (Cornell University)|2020. 06. 02.

Topic Modeling참고 문헌 14인용 수 16

한 줄 요약

이 논문은 영어-힌두어 기계 이해를 위한 다국어 BERT 기반 모델을 제안하며, 기존 최고 성능 모델을 능가하는 성능 향상을 위해 m-BERT를 단일 언어 및 다국어 QA 데이터로 미세조정한 결과를 보여준다. 저자들은 m-BERT를 영어-힌두어 MMC 분야의 새로운 최고 성능 모델로 확립하고, 향후 연구를 위한 다국어 변형을 포함한 확장된 인간 번역 XQuAD 벤치마크를 제안한다.

ABSTRACT

Multilingual Machine Comprehension (MMC) is a Question-Answering (QA) sub-task that involves quoting the answer for a question from a given snippet, where the question and the snippet can be in different languages. Recently released multilingual variant of BERT (m-BERT), pre-trained with 104 languages, has performed well in both zero-shot and fine-tuned settings for multilingual tasks; however, it has not been used for English-Hindi MMC yet. We, therefore, present in this article, our experiments with m-BERT for MMC in zero-shot, mono-lingual (e.g. Hindi Question-Hindi Snippet) and cross-lingual (e.g. English QuestionHindi Snippet) fine-tune setups. These model variants are evaluated on all possible multilingual settings and results are compared against the current state-of-the-art sequential QA system for these languages. Experiments show that m-BERT, with fine-tuning, improves performance on all evaluation settings across both the datasets used by the prior model, therefore establishing m-BERT based MMC as the new state-of-the-art for English and Hindi. We also publish our results on an extended version of the recently released XQuAD dataset, which we propose to use as the evaluation benchmark for future research.

연구 동기 및 목표

• 영어와 힌두어의 저자원 언어 쌍인 다국어 기계 이해 평가를 위해 m-BERT를 평가하는 것.
• 영어-힌두어 MMC를 위한 표준화되고 공개 가능한 평가 벤치마크의 부족을 해결하는 것.
• 영어-힌두어 MMC에서 기존 최고 성능 모델을 뛰어넘기 위해 m-BERT의 제로샷, 단일 언어, 다국어 설정에서의 미세조정을 통해 성능 향상을 이루는 것.
• 다국어 질문-답변 쌍(예: 영어 질문, 힌두어 답변)을 포함한 확장된 XQuAD 데이터셋을 제안하여 새로운 평가 벤치마크로 활용하는 것.
• m-BERT가 다국어 환경에서 언어 지시어, 전치어, 추론 질문을 다룰 수 있는 능력을 분석하는 것.

제안 방법

• SQuAD와 힌두어로 번역된 SQuAD의 일부를 기반으로 한 다국어 QA 데이터셋에 m-BERT를 미세조정.
• 세 가지 설정에서 m-BERT를 평가: 제로샷(힌두어 미세조정 없음), 단일 언어 힌두어 QA 미세조정, 영어 질문과 힌두어 문장으로 구성된 다국어 증강.
• 훈련 데이터에 대해 단일 언어 및 다국어 쌍을 모두 포함한 합성 SQuAD 스타일 형식을 사용.
• 새로운 다국어 변형(예: 영어 질문, 힌두어 답변)을 생성하여 XQuAD 데이터셋을 확장하여 벤치마크로 활용.
• 104개 언어에서 사전 훈련된 m-BERT의 전이 학습을 통해 제로샷 및 소수의 샘플에서의 성능 향상을 도모.
• 언어 지시어 해결 및 사실 기반 질문 대비 서술형 질문 성능 분석을 포함한 정성적 및 정량적 분석을 수행.

실험 결과

연구 질문

• RQ1 m-BERT는 작업 전용 아키텍처 수정 없이도 영어-힌두어 다국어 기계 이해에서 최고 성능를 달성할 수 있는가?
• RQ2 m-BERT를 단일 언어 또는 다국어 QA 데이터로 미세조정하면 모든 다국어 평가 설정에서 성능 향상이 이루어지는가?
• RQ3 편향된 훈련 데이터 분포를 고려할 때, m-BERT는 사실 기반 질문에 비해 추론 및 서술형 질문에서 어떻게 성능을 내는가?
• RQ4 인간이 번역한 확장된 XQuAD 벤치마크가 다국어 변형을 포함하여 향후 연구를 위한 신뢰할 수 있고 표준화된 평가 벤치마크로 기능할 수 있는가?
• RQ5 m-BERT는 다국어 환경에서 문법적 및 의미적 참조(예: 언어 지시어, 전치어)를 얼마나 잘 다루는가?

주요 결과

• m-BERT를 단일 언어 힌두어 QA 데이터로 미세조정한 결과, 모든 평가 설정에서 기존 최고 성능 모델을 뛰어넘었으며, 영어-힌두어 MMC 분야에서 새로운 최고 성능 모델로 확립되었다.
• 다국어 미세조정(예: 영어 질문에 힌두어 문장)은 다국어 평가 작업에서 성능 향상을 이끌었지만, 단일 언어 결과는 약간 악화되어 일반화에서의 상충 관계를 보였다.
• m-BERT의 제로샷 성능는 기준선 이하였지만, 단지 10.5K개의 다국어 데이터 샘플로도 미세조정을 통해 성능 향상이 두드러지게 나타나, 더 큰 데이터셋에서의 확장 가능성은 높은 것으로 나타났다.
• 모델는 언어 지시어 및 전치어 해결에서 뛰어난 성능를 보였으며, 'Pumban 섬'과 같은 전후행어를 '그'보다 더 정확히 식별하고, 추상어를 사용하는 것이 아닌 전체 명사구를 선호하는 경향을 보였다.
• 사실 기반 질문은 항상 정확한 일치로 답변되었지만, 서술형 질문은 부분적 또는 약간의 재구성된 답변을 보였으며, 데이터 부족으로 인해 추론 능력이 제한된 것으로 나타났다.
• 모델가 다국어 환경에서 질문을 재구성할 수 있는 능력은 강력한 의미 이해를 시사하지만, 추론 작업에서는 부족함을 보이며 더 다양한 훈련 데이터가 필요함을 시사한다.