[논문 리뷰] Massively Multilingual Neural Machine Translation

Roee Aharoni, Melvin Johnson외 1명|arXiv (Cornell University)|2019. 02. 28.

Natural Language Processing Techniques참고 문헌 37인용 수 46

한 줄 요약

이 논문은 영어를 허브로 삼아 102개 언어에 대해 영어 중심의 다중 방향 모델을 학습시키고, 204 방향으로 영어와의 번역을 수행하도록 하나의 Transformer 모델을 학습시켜 전일본 자막 연구에서 특히 자원 부족 설정에서 이중언어 기준선에 비해 이득을 보이며, 비영어 대상에서 일부 트레이드오프를 보인다.

ABSTRACT

Multilingual neural machine translation (NMT) enables training a single model that supports translation from multiple source languages into multiple target languages. In this paper, we push the limits of multilingual NMT in terms of number of languages being used. We perform extensive experiments in training massively multilingual NMT models, translating up to 102 languages to and from English within a single model. We explore different setups for training such models and analyze the trade-offs between translation quality and various modeling decisions. We report results on the publicly available TED talks multilingual corpus where we show that massively multilingual many-to-many models are effective in low resource settings, outperforming the previous state-of-the-art while supporting up to 59 languages. Our experiments on a large-scale dataset with 102 languages to and from English and up to one million examples per direction also show promising results, surpassing strong bilingual baselines and encouraging future work on massively multilingual NMT.

연구 동기 및 목표

• 영어 중심의 대규모 다중언어 NMT 모델이 많은 언어 및 번역 방향으로 확장될 수 있음을 보여준다.
• TED Talks와 대규모 내부 데이터셋에서 자원 부족 및 자원 풍부 설정에서의 번역 품질을 평가한다.
• 참여하는 언어 수가 성능 및 일반화에 미치는 영향을 제로샷 번역을 포함해 분석한다.
• 동일한 학습 조건에서 다대다 모델과 다대일 및 이중언어 기준선을 비교한다.
• 대규모 다중언어 NMT의 실용적 트레이드오프와 향후 방향을 식별한다.

제안 방법

• Transformer 기본 아키텍처(6-layer encoder/decoder, 512 model dim, 2048 hidden, 8 heads)와 드롭아웃 및 역제곱근 학습률 스케줄링을 사용한다.
• 영어 중심 다대다 모델을 116 방향(58개 언어에서 영어로/에서 영어로)을 대상으로 공통 서브워드 분할(32k vocab)과 이질적 배치로 학습한다.
• 동일한 조건에서 이중언어 기준선 및 이전 다국어 접근법과 비교한다.
• TED Talks 다국어 코퍼스(59개 언어, 116 방향)와 대규모 내부 103-언어 코퍼스(102개 언어, 204 방향)에서 각 언어쌍당 최대 1,000,000개의 예제로 평가한다.
• 학습 데이터 규모, 자원 수준 및 모델 용량이 번역 품질과 제로샷 성능에 미치는 영향을 조사한다.

실험 결과

연구 질문

• RQ1 하나의 NMT 모델이 매우 큰 언어 및 방향 세트를 지원하도록 확장될 수 있는가?
• RQ2 대규모 다중언어 다대다 구성은 자원 부족 및 자원 풍부 설정 모두에서 이중언어 및 다대일 기준선보다 더 나은가?
• RQ3 참여 언어 수의 증가가 번역 품질 및 제로샷 일반화에 어떻게 영향을 미치는가?
• RQ4 대규모 다중언어 NMT에서 모델 용량, 작업 수 및 데이터 크기 간의 트레이드오프는 무엇인가?
• RQ5 다국어 학습이 제로샷 번역 및 언어 간 전달에 기여하는가?

주요 결과

• 대규모 다중언어 다대다 모델은 자원 부족한 TED 설정의 영어→X 방향에서 이중언어 기준선 및 다대일 모델보다 우수한 성능을 보인다.
• 영어→X에서 다대다 모델은 1) 가장 우수한 Neubig & Hu (2018) 다대일 기준선 대비 평균 BLEU 약 1.82의 개선 및 2) 그들의 다대일 모델 대비 4개 자원 부족 쌍에서 BLEU 약 2.44의 개선을 달성한다.
• 103-언어 자원 풍부 설정에서 영어로 번역할 때 다대일 모델과 다대다 모델 모두 평균적으로 기준선을 상회하며, 다대일 모델이 일반적으로 최상으로 작동하는 경우가 많지만 일부 언어쌍(예: German-to-English 개발 세트에서)에서 예외가 있다.
• 영어에서 다른 언어로 번역할 때는 동일 조건에서 보통 한-대-다(one-to-many) 모델이 다대다 구성보다 더 나은 성능을 보인다.
• 제로샷 및 다중언어성 분석은 언어 수를 늘리면 제로샷 성능이 향상될 수 있지만, 고정 용량 하에서 일부 쌍의 감독 학습 성능이 감소할 수 있는 트레이드오프가 존재한다; 중간 범위의 하위 집합(예: 50-50)은 일반화와 정확도 사이의 균형을 맞춘다.
• 제로샷 개선은 더 많은 언어와 함께 나타나지만, 이득의 정도는 언어 쌍과 데이터셋 크기에 따라 다르다.