[논문 리뷰] A Study of Multilingual Neural Machine Translation

Xu Tan, Yichong Leng외 4명|arXiv (Cornell University)|2019. 12. 25.

Natural Language Processing Techniques참고 문헌 38인용 수 8

한 줄 요약

이 논문은 20개 이상의 언어를 포함한 다국어 신경 기계 번역(NMT)에 대한 종합적인 실험 연구를 수행하여, 저자원 언어 쌍은 다국어 훈련에서 크게 수혜를 보이는 반면, 자원이 풍부한 언어 쌍은 모델 용량 제약 하에서 성능 저하를 겪을 수 있음을 밝혀냈다. 주요 발견은 하나에 다수 설정에서의 미세조정이 우수하며, 계층별로 미세조정하는 것이 효과적이며, 유사한 언어 간에는 직접 번역이 피벗 번역보다 우수하고, 훈련 데이터에 더 다양한 언어를 포함시킬수록 제로샷 번역 성능이 향상됨을 보여준다.

ABSTRACT

Multilingual neural machine translation (NMT) has recently been investigated from different aspects (e.g., pivot translation, zero-shot translation, fine-tuning, or training from scratch) and in different settings (e.g., rich resource and low resource, one-to-many, and many-to-one translation). This paper concentrates on a deep understanding of multilingual NMT and conducts a comprehensive study on a multilingual dataset with more than 20 languages. Our results show that (1) low-resource language pairs benefit much from multilingual training, while rich-resource language pairs may get hurt under limited model capacity and training with similar languages benefits more than dissimilar languages; (2) fine-tuning performs better than training from scratch in the one-to-many setting while training from scratch performs better in the many-to-one setting; (3) the bottom layers of the encoder and top layers of the decoder capture more language-specific information, and just fine-tuning these parts can achieve good accuracy for low-resource language pairs; (4) direct translation is better than pivot translation when the source language is similar to the target language (e.g., in the same language branch), even when the size of direct training data is much smaller; (5) given a fixed training data budget, it is better to introduce more languages into multilingual training for zero-shot translation.

연구 동기 및 목표

• 언어 유사성과 자원 분포가 다국어 NMT 성능에 미치는 영향을 조사하는 것.
• 다른 번역 설정(일대다 대 다수대일)에서 미세조정 대 훈련에서부터 시작하는 것의 비교.
• 저자원 언어 쌍에 적합한 모델 구성 요소(인코더/디코더 계층)를 특정하는 것.
• 저자원 환경에서 직접 번역과 피벗 번역 간의 성능 격차를 평가하는 것.
• 언어 다양성이 제로샷 번역 정확도에 미치는 영향을 이해하는 것.

제안 방법

• 20개 이상의 언어를 포함한 데이터셋을 기반으로 다국어 NMT 모델을 훈련하여, 자원이 풍부한 언어 쌍과 저자원 언어 쌍을 모두 포함하였다.
• 일대다 및 다수대일 번역 설정에서 미세조정 대 훈련에서부터 시작하는 것의 성능을 비교하는 분석 실험을 수행하였다.
• 계층별로 미세조정 실험을 수행하여, 하부 인코더 계층이나 상부 디코더 계층만 선택적으로 업데이트함으로써 구성 요소별 영향을 평가하였다.
• 다양한 데이터 가용성과 언어 유사성 조건에서 직접 번역과 피벗 번역을 평가하기 위해 여러 언어 쌍을 사용하였다.
• 총 훈련 데이터 크기를 동일하게 유지하면서, 점차 증가하는 언어 수(2, 12, 22)로 제로샷 번역 모델을 구축하여 언어 다양성의 영향을 분리하여 분석하였다.
• 다양한 설정과 구성에서 번역 성능를 정량적으로 비교하기 위해 BLEU 점수를 사용하였다.

실험 결과

연구 질문

• RQ1 다국어 NMT 모델에서 성능을 극대화하기 위해 어떤 언어들을 함께 그룹화해야 하는가?
• RQ2 미세조정이 다국어 NMT에서 훈련에서부터 시작하는 것보다 우수한가? 이는 번역 설정에 따라 어떻게 달라지는가?
• RQ3 저자원 언어 쌍에 적합한 사전 훈련된 NMT 모델의 어떤 구성 요소(예: 인코더/디코더 계층)를 미세조정해야 하는가?
• RQ4 직접 번역이 피벗 번역보다 우수한가? 특히 직접 데이터가 부족한 저자원 환경에서 그렇다면?
• RQ5 제로샷 번역 정확도에 영향을 주는 요소는 무엇이며, 언어 다양성은 이를 어떻게 영향을 미치는가?

주요 결과

• 저자원 언어 쌍은 다국어 훈련에서 성능 향상을 크게 보이며, 반면 자원이 풍부한 언어 쌍은 제한된 모델 용량 하에서 성능 저하를 겪을 수 있다.
• 일대다 번역 설정에서는 미세조정이 훈련에서부터 시작하는 것보다 우수한 성능을 보이며, 반대로 다수대일 설정에서는 훈련에서부터 시작하는 것이 더 좋은 결과를 얻는다.
• 저자원 언어 쌍에 대해 하부 인코더 계층이나 상부 디코더 계층만 미세조정하면, 최소한의 파라미터 업데이트로도 뛰어난 성능을 달성할 수 있다.
• 원천 언어와 목표 언어가 유사할 경우, 직접 번역이 피벗 번역을 능가하며, 직접 번역 쌍의 훈련 데이터가 훨씬 적어도 성능이 뛰어나다.
• 제로샷 번역 정확도는 훈련 데이터 총량을 동일하게 유지하면서도 더 다양한 언어를 포함할수록 크게 향상된다.
• 20개의 다양한 언어를 포함한 모델(Zero-22)은 유사한 데이터 예산을 가진 12개 언어 모델(Zero-12)보다 우수한 성능을 보였으며, 이는 언어 다양성의 이점이 있음을 입증한다.