[논문 리뷰] Massively Multilingual Neural Machine Translation in the Wild: Findings and Challenges

Naveen Arivazhagan, Ankur Bapna외 11명|arXiv (Cornell University)|2019. 07. 11.

Natural Language Processing Techniques참고 문헌 152인용 수 297

한 줄 요약

본 논문은 103개 언어를 커버하는 단일 대규모 다국어 NMT 모델을 25B 병렬 문장으로 학습하고, 전이 및 간섭을 분석하며, 실세계 보편 번역을 위한 데이터 샘플링 및 용량 과제를 식별한다.

ABSTRACT

We introduce our efforts towards building a universal neural machine translation (NMT) system capable of translating between any language pair. We set a milestone towards this goal by building a single massively multilingual NMT model handling 103 languages trained on over 25 billion examples. Our system demonstrates effective transfer learning ability, significantly improving translation quality of low-resource languages, while keeping high-resource language translation quality on-par with competitive bilingual baselines. We provide in-depth analysis of various aspects of model building that are crucial to achieving quality and practicality in universal NMT. While we prototype a high-quality universal translation system, our extensive empirical analysis exposes issues that need to be further addressed, and we suggest directions for future research.

연구 동기 및 목표

• 임의의 언어 쌍 간의 번역이 가능하도록 단일 보편 NMT 모델을 구축하는 것을 목표로 한다.
• 다국어 학습이 고자원 언어의 성능을 유지하면서 저자원 언어로의 전이를 어떻게 가능하게 하는지 조사한다.
• 웹에서 수집된 병렬 데이터에서의 데이터 불균형, 노이즈 및 도메인 이슈와 이들의 학습에 미치는 영향을 검토한다.
• 대규모 다국어 MT에서 데이터 샘플링, capacity, 및 스케줄링을 통한 간섭 제어 전략을 평가한다.

제안 방법

• 공유된 64k sentence-piece 어휘를 사용하여 102개 언어와 영어 전체에 걸쳐 단일 Transformer 기반 모델(Transformer Big)을 학습한다.
• 번역 방향 지도를 위해 각 소스 시퀀스에 대상 언어 토큰을 접두사로 추가한다.
• 언어 노출의 균형을 맞추기 위한 데이터 샘플링 전략을 탐구한다. 실제 분포(T=1) 및 균형 샘플링(T=5, T=100 등)를 포함하여.
• 공유 인코더/디코더 및 단일 공유 어휘를 갖춘 다국어 설정과 이중언어 베이스라인을 비교한다.
• 더 빠른 수렴을 위해 TPUv3를 가로지르는 대규모 데이터 병렬화와 최대 4M 토큰의 배치 크기를 사용한다.
• 다방향으로 정렬된 개발/테스트 세트에서 BLEU를 사용해 평가하고 방향별 성능을 보고한다.

실험 결과

연구 질문

• RQ1 대규모 다국어 NMT 모델을 학습시키는 것이 고자원 언어와 저자원 언어의 번역 품질에 어떤 영향을 미치는가?
• RQ2 고자원 언어에 심각한 악영향 없이 저자원 언어 번역을 개선하기 위해 양의 전이(positive transfer)를 활용할 수 있는가?
• RQ3 웹 크롤링 데이터의 데이터 불균형 및 노이즈가 학습, 전이, 간섭에 어떤 영향을 미치는가?
• RQ4 간섭을 완화하고 전이를 촉진하기 위해 어떤 샘플링, 스케줄링, 최적화 전략이 필요하는가?
• RQ5 여러→단일(Any→En) 및 단일→다양(En→Any) 학습 설정이 방향 간 전이 이점과 제로샷 번역 측면에서 어떻게 비교되는가?

주요 결과

• 대규모 다국어 학습은 저자원 언어로의 전이를 가능하게 하지만 고자원 언어의 성능 저하를 야기할 수 있는 간섭을 초래한다.
• 균형 샘플링(저자원 언어의 과샘플링)이 저자원 언어로의 전이를 증가시키지만 고자원 성능에 해를 끼친다; 실제 데이터 분포 샘플링(true-data-distribution sampling)은 고자원 성능을 보전하지만 전이 효과를 감소시킨다.
• 언어/태스크 수가 늘어날수록 간섭이 증가하며, 용량이 비례해 확장되지 않으면 언어 그룹 전반의 성능이 저하된다.
• Many-to-one (Any→En) 모델은 저자원 언어에서 상당한 이득을 보이는 반면, one-to-many (En→Any) 모델은 특정 설정에서 저자원 언어로의 전이가 덜하고 고자원 저하가 더 두드러진다.
• 더 많은 언어와 교차 언어 전이를 촉진하는 정규화로 제로샷 번역 품질이 개선되지만 병렬 데이터가 없는 비영어 간 번역은 여전히 도전적이다.