[논문 리뷰] Google's Multilingual Neural Machine Translation System: Enabling Zero-Shot Translation

Melvin Johnson, Mike Schuster외 10명|arXiv (Cornell University)|2016. 11. 14.

Natural Language Processing Techniques참고 문헌 6인용 수 108

한 줄 요약

이 논문은 목표 언어 토큰을 입력에 앞에 붙여 다수의 언어 간 번역을 수행하는 단일 다국어 NMT 모델을 제시합니다. 이를 통해 제로샷 번역 및 공유 어휘와 아키텍처로의 전이 학습이 가능해집니다.

ABSTRACT

We propose a simple solution to use a single Neural Machine Translation (NMT) model to translate between multiple languages. Our solution requires no change in the model architecture from our base system but instead introduces an artificial token at the beginning of the input sentence to specify the required target language. The rest of the model, which includes encoder, decoder and attention, remains unchanged and is shared across all languages. Using a shared wordpiece vocabulary, our approach enables Multilingual NMT using a single model without any increase in parameters, which is significantly simpler than previous proposals for Multilingual NMT. Our method often improves the translation quality of all involved language pairs, even while keeping the total number of model parameters constant. On the WMT'14 benchmarks, a single multilingual model achieves comparable performance for English$ ightarrow$French and surpasses state-of-the-art results for English$ ightarrow$German. Similarly, a single multilingual model surpasses state-of-the-art results for French$ ightarrow$English and German$ ightarrow$English on WMT'14 and WMT'15 benchmarks respectively. On production corpora, multilingual models of up to twelve language pairs allow for better translation of many individual pairs. In addition to improving the translation quality of language pairs that the model was trained with, our models can also learn to perform implicit bridging between language pairs never seen explicitly during training, showing that transfer learning and zero-shot translation is possible for neural translation. Finally, we show analyses that hints at a universal interlingua representation in our models and show some interesting examples when mixing languages.

연구 동기 및 목표

• 표준 NMT 아키텍처를 변경하지 않고 다국어 번역에 대한 단순하고 확장 가능한 접근법을 동기 부여합니다.
• 공유 WordPiece 어휘와 대상 언어 토큰이 하나의 모델 내에서 여러 언어 쌍을 가능하게 할 수 있음을 보여줍니다.
• 다국어 학습이 저자원 언어를 개선하고 제로샷 번역을 가능하게 한다.
• WMT 벤치마크와 대규모 생산 데이터에서 접근법을 평가하여 번역 품질 및 전이 이점을 평가합니다.
• 다국어 NMT에서 암묵적 중간언어 표현 및 교차 언어 전이의 가능성을 탐구합니다.

제안 방법

• 입력 시작 부분에 대상 언어를 명시하는 인공 토큰을 도입합니다(예: Spanish의 <2es>).
• 모든 언어에 걸친 공유 WordPiece 어휘를 사용하는 단일 공유 인코더-디코더-어텐션 NMT 아키텍처를 사용합니다(일반적으로 32k 조각).
• 총 매개변수 수를 고정한 채로 언어 쌍의 균형을 맞추기 위해 재샘플링/언샘플링으로 혼합 다국어 데이터에서 학습합니다.
• 다중-대-다, 다중-대-일, 일대다 매핑을 실험하여 구성 간 성능을 평가합니다.
• WMT14/15 벤치마크의 토큰화된 BLEU와 대규모 생산 데이터 세트를 사용해 평가하고 제로샷 번역 능력을 분석합니다.

실험 결과

연구 질문

• RQ1 하나의 NMT 모델이 아키텍처 변경 없이 여러 언어 간 번역이 가능한가?
• RQ2 대상 언어 토큰을 도입하면 다국어 번역이 가능해지며 언어 쌍 간 성능에 어떤 영향을 미치는가?
• RQ3 다국어 학습이 제로샷 번역 및 저자원 언어에 대한 전이 학습 이점을 제공할 수 있는가?
• RQ4 모델 크기와 데이터 균형이 별도의 단일-언어 모델과 비교하여 다국어 번역 품질에 어떤 영향을 주는가?
• RQ5 다국어 NMT에서 암시적 인터링구아 표현의 증거가 있는가?

주요 결과

• 대상 언어 토큰이 있는 단일 모델은 여러 언어 쌍에서 단일 언어 기준선과 일치하거나 이를 상회할 수 있으며(예: 프랑스어-영어, 독일어-영어 등) 다양한 샘플링 설정 하에서.
• 훈련 중 보지 못한 언어 쌍에 대해 제로샷 번역이 시연되며(예: Portuguese→Spanish) 추가 데이터나 점진적 학습이 BLEU 점수를 향상시킵니다.
• 다국어 모델은 공유 표현을 통해 저자원 언어의 이점을 보이고, 동일한 총 매개변수 예산으로 많은 언어 쌍을 사용해 학습하더라도 경쟁력 있는 결과를 얻을 수 있습니다.
• 대규모 다국어 모델(최대 12개 언어 쌍)은 경쟁력 있는 성능을 제공하는 동시에 학습 시간과 생산 복잡성을 대폭 줄여 주며(학습 시간의 약 1/12).
• 다국어 학습을 통한 암시적 다리짓기가 특정 경우에 명시적 다리짓기보다 성능이 우수할 수 있으며, 제로샷 방향에 대해 제한된 병렬 데이터를 추가하면 품질이 더 개선될 수 있습니다.