[논문 리뷰] Multilingual Translation with Extensible Multilingual Pretraining and Finetuning

Yuqing Tang, Chau Tran외 6명|arXiv (Cornell University)|2020. 08. 02.

Topic Modeling참고 문헌 24인용 수 151

한 줄 요약

본 논문은 사전학습된 모델을 다국어 미세조정(multilingual finetuning)으로 다국어 번역 모델을 구축할 수 있으며(mBART와 같은), 재훈련 없이 50개 언어(mBART50)까지 확장 가능하고 재현 가능한 다국어 MT 연구를 위한 ML50 벤치마크를 도입한다고 제시한다.

ABSTRACT

Recent work demonstrates the potential of multilingual pretraining of creating one model that can be used for various tasks in different languages. Previous work in multilingual pretraining has demonstrated that machine translation systems can be created by finetuning on bitext. In this work, we show that multilingual translation models can be created through multilingual finetuning. Instead of finetuning on one direction, a pretrained model is finetuned on many directions at the same time. Compared to multilingual models trained from scratch, starting from pretrained models incorporates the benefits of large quantities of unlabeled monolingual data, which is particularly important for low resource languages where bitext is not available. We demonstrate that pretrained models can be extended to incorporate additional languages without loss of performance. We double the number of languages in mBART to support multilingual machine translation models of 50 languages. Finally, we create the ML50 benchmark, covering low, mid, and high resource languages, to facilitate reproducible research by standardizing training and evaluation data. On ML50, we demonstrate that multilingual finetuning improves on average 1 BLEU over the strongest baselines (being either multilingual from scratch or bilingual finetuning) while improving 9.3 BLEU on average over bilingual baselines from scratch.

연구 동기 및 목표

• 사전학습된 모델의 다국어 미세조정이 강력한 다국어 번역 성능을 낸다는 것을 Demonstrate한다.
• 원래 언어 성능을 해치지 않으면서 추가 언어를 포함하도록 사전학습된 모델을 확장할 수 있음을 보여준다.
• 재현 가능한 다국어 MT 연구를 위한 표준 벤치마크(ML50)를 도입한다(고자원-고/중/저 자원 언어를 포괄).

제안 방법

• mBART를 기본 사전학습 다국어 디노이징 자동인코더로 사용한다.
• 다수의 언어 방향(N 언어에서 N 언어까지)에 걸친 다국어 병렬말뗀기에 대해 사전학습된 모델을 미세조정한다.
• 미세조정 중 소스/타깃 언어를 지정하기 위해 입력/출력에 언어 토큰을 추가한다.
• 모델 변형으로 Many-to-one, one-to-many, 그리고 영어 피벗을 통한 Many-to-many를 탐구한다.
• 다국어 학습 데이터를 언어쌍 간 균형 있게 맞추기 위해 온도 기반 업샘플링을 적용한다.

실험 결과

연구 질문

• RQ1 사전학습된 모델의 다국어 미세조정이 이중언어 미세조정(bilingual fine-tuning)과 Scratch에서의 다국어 학습을 능가할 수 있는가?
• RQ2 기존의 사전학습 모델(mBART)을 재훈련 없이 추가 언어를 포함하도록 확장할 수 있으며 원래 언어의 성능 저하가 없는가?
• RQ3 다국어 미세조정이 Many-to-one, one-to-many, Many-to-many 번역 방향에서 일관된 이득을 제공하는가?
• RQ4 언어 추가가 사전학습 모델의 원래 언어 성능에 미치는 영향은 무엇인가?
• RQ5 제안된 ML50 벤치마크가 다국어 MT의 재현 가능한 평가를 어떻게 지원하는가?

주요 결과

• 다국어 미세조정은 이중언어 기준선에 비해 평균 BLEU 상승을 제공하며, 특히 Many-to-English에서 +3.6, 영어→다수 방향 설정에서 특정 설정에서 +3.0 BLEU의 이득이 보고된다(추상 결과로 보고된 바와 같이).
• 50개 언어로 확장한 mBART(mBART50)는 번역 작업에 대해 미세조정하더라도 원래 25개 언어의 성능을 해치지 않는다.
• 50개 언어 설정에서 ML-FT는 Many-to-one에서 평균 2.61 BLEU, one-to-Many에서 -0.47 BLEU, Many-to-Many에서 -0.15~ -0.35 BLEU의 기준선 대비 향상을 달성하여 특히 자원이 부족한 쌍에서 강건한 이득을 시사한다.
• ML50 벤치마크는 데이터 소스, 언어 및 평가를 표준화하여 재현 가능한 다국어 MT 연구를 가능하게 한다(230M 병렬말뗀지; 50개 언어, 다양한 자원 수준).
• 이중언어 미세조정과 비교할 때, 다국어 미세조정은 50개 방향에서 영어로의 평균 개선이 최대 12.3 BLEU에 이르며 일부 저자원 언어는 Many-to-one 번역에서 10+ BLEU 이득을 보인다.
• 전반적으로 다국어 미세조정은 Many-to-one 및 Many-to-Many 방향을 결합할 때 평균적으로 가장 강력한 기준선보다 지속적으로 우수하다.