[논문 리뷰] XLM-T: Scaling up Multilingual Machine Translation with Pretrained Cross-lingual Transformer Encoders

Shuming Ma, Jian Yang외 11명|arXiv (Cornell University)|2020. 12. 31.

Natural Language Processing Techniques참고 문헌 26인용 수 23

한 줄 요약

XLM-T는 다국어 신경 기계 번역(NMT) 모델을 사전 훈련된 다국어 트랜스포머 인코더(XLM-R)로 초기화하고, 다국어 병렬 데이터로 미세조정하는 방식을 제안한다. 이 방법은 WMT(10개 언어 조합)와 OPUS-100(94개 언어 조합)에서 강력한 기준 모델—백트랜슬레이션을 사용한 모델 포함—보다 뚜렷하고 일관된 성능 향상을 이룬다. 이는 사전 훈련이 다국어 번역에 효과적임을 보여준다.

ABSTRACT

Multilingual machine translation enables a single model to translate between different languages. Most existing multilingual machine translation systems adopt a randomly initialized Transformer backbone. In this work, inspired by the recent success of language model pre-training, we present XLM-T, which initializes the model with an off-the-shelf pretrained cross-lingual Transformer encoder and fine-tunes it with multilingual parallel data. This simple method achieves significant improvements on a WMT dataset with 10 language pairs and the OPUS-100 corpus with 94 pairs. Surprisingly, the method is also effective even upon the strong baseline with back-translation. Moreover, extensive analysis of XLM-T on unsupervised syntactic parsing, word alignment, and multilingual classification explains its effectiveness for machine translation. The code will be at https://aka.ms/xlm-t.

연구 동기 및 목표

• 랜덤 초기화 대신 사전 훈련된 다국어 표현을 활용하여 다국어 신경 기계 번역(NMT) 성능을 향상시키는 것.
• XLM-R와 같은 상용 사전 훈련된 인코더가 번역 데이터 재훈련 없이도 다국어 NMT 성능을 향상시킬 수 있는지 조사하는 것.
• 낮은 자원 및 영자원 번역 설정에서 사전 훈련의 효과를 평가하여 더 나은 다국어 표현 일반화 능력을 확보하는 것.
• 사전 훈련된 인코더가 번역에 관련된 기본 언어 표현, 예를 들어 단어 정렬 및 문법 분석 등에 어떻게 기여하는지 분석하는 것.

제안 방법

• 100개 언어에서 마스크된 언어 모델링을 사용해 사전 훈련된 XLM-R 인코더의 가중치를 사용해 다국어 NMT 모델의 인코더와 디코더를 초기화한다.
• 기본 NMT 목표를 사용하여 다국어 병렬 코퍼스에서 전체 모델을 엔드 투 엔드로 미세조정하며, 목표 언어 토큰을 소스 시퀀스 앞에 추가한다.
• XLM-R의 공통 250만 토큰 어휘와 다국어 어텐션 메커니즘을 사용해 다국어 간 전이를 가능하게 한다.
• 자연어 이해(NLU) 과제에서 성공적으로 적용된 사전 훈련-미세조정 파라다임을 시퀀스 투 시퀀스 번역 설정에 적용한다.
• 고자원(예: WMT)과 저자원(예: OPUS-100) 다국어 번역 벤치마크에서 성능을 평가한다.
• 표현 품질을 분석하기 위해 探색 과제—비지도 문법 분석, 단어 정렬, 다국어 텍스트 분류—를 실시한다.

실험 결과

연구 질문

• RQ1 대규모 단언어 데이터에서 사전 훈련된 다국어 인코더가 다국어 NMT 성능을 뚜렷이 향상시킬 수 있는가?
• RQ2 백트랜슬레이션과 같은 강력한 기준 모델을 사용하더라도, 사전 훈련된 다국어 인코더로 초기화한 NMT가 랜덤 초기화보다 우수한가?
• RQ3 사전 훈련된 표현이 다국어 모델의 저수준 언어 능력, 예를 들어 단어 정렬 및 문법 분석에 어떻게 영향을 미치는가?
• RQ4 사전 훈련된 인코더가 특히 저자원 및 영자원 언어 조합에서 다국어 일반화 능력을 얼마나 향상시키는가?
• RQ5 사전 훈련된 인코더가 다국어 번역에 유리한 특정 언어적 인덕티브 바이어스를 어떻게 도입하는가?

주요 결과

• XLM-T는 10개 언어 조합이 포함된 WMT 벤치마크에서 뚜렷하고 일관된 성능 향상을 보이며, 강력한 랜덤 초기화 기준 모델을 능가한다.
• 94개 언어 조합이 포함된 더 큰 OPUS-100 데이터셋에서 XLM-T는 상당한 성능 향상을 기록하여 다양한 언어 조합 간의 확장성을 입증한다.
• 강력한 백트랜슬레이션 기준 모델을 기반으로 한 미세조정에서도 XLM-T는 뚜렷한 성능 향상을 유지하며, 사전 훈련이 보완적인 인덕티브 바이어스를 제공함을 시사한다.
• 탐색 과제 결과, XLM-T는 랜덤 기준 모델 대비 비지도 문법 분석 및 단어 정렬 품질을 뚜렷이 향상시킨다.
• XLM-T는 다국어 텍스트 분류 성능 향상도 보이며, 더 나은 다국어 표현 학습 능력을 의미한다.
• 결과적으로, 단언어 데이터에서의 사전 훈련이 공통 표현 품질 향상을 통해 저자원 언어에 대해 특히 효과적인 다국어 전이 능력을 향상시킨다는 점이 확인된다.