[논문 리뷰] Improving Massively Multilingual Neural Machine Translation and Zero-Shot Translation

Biao Zhang, Philip Williams외 2명|arXiv (Cornell University)|2020. 04. 24.

Natural Language Processing Techniques참고 문헌 35인용 수 82

한 줄 요약

본 논문은 language-aware 구성요소, 더 깊은 아키텍처, 그리고 Random Online Backtranslation (ROBt)을 통해 대규모 다국어 NMT를 크게 강화하고, 이로써 이중언어 모델 및 피봇 기반 방법에 근접한 성능을 달성하며, 제로샷 번역을 대폭 향상시킨다.

ABSTRACT

Massively multilingual models for neural machine translation (NMT) are theoretically attractive, but often underperform bilingual models and deliver poor zero-shot translations. In this paper, we explore ways to improve them. We argue that multilingual NMT requires stronger modeling capacity to support language pairs with varying typological characteristics, and overcome this bottleneck via language-specific components and deepening NMT architectures. We identify the off-target translation issue (i.e. translating into a wrong target language) as the major source of the inferior zero-shot performance, and propose random online backtranslation to enforce the translation of unseen training language pairs. Experiments on OPUS-100 (a novel multilingual dataset with 100 languages) show that our approach substantially narrows the performance gap with bilingual models in both one-to-many and many-to-many settings, and improves zero-shot performance by ~10 BLEU, approaching conventional pivot-based methods.

연구 동기 및 목표

• 다양한 언어를 다룰 때 대규모 다국어 NMT의 용량 병목 현상을 동기부여하고 해결한다.
• 제로샷 번역 품질을향상시키고 오타깝은 번역을 줄인다.
• 다국어 번역 성능을 높이기 위한 아키텍처 및 데이터 기반 전략을 탐구한다.
• 언어 인식 구성요소와 깊은 Transformer 아키텍처의 효과를 평가한다.
• 제로샷 방향에 대한 확장 가능한 역번역 기반 파인튜닝 방법을 제안하고 평가한다.

제안 방법

• 영어 중심 데이터(OPUS-100)를 사용한 Transformer 기반 다국어 NMT를 채택한다.
• 대상 언어 토큰에 대해 정규화를 조건화하도록 언어 인식 계층 정규화(LaLn)를 도입한다.
• 엔코더와 디코더 간의 번역 매핑을 대상 언어별로 조정하기 위해 언어 인식 선형 변환(LaLt)을 도입한다.
• 모델링 용량을 증가시키기 위해 Transformer 아키텍처를 심화한다.
• Random Online Backtranslation(ROBt): 파인튜닝 중 제로샷 방향에 대해 무작위로 샘플링된 중간 언어를 사용한 온라인 역번역으로 의사 병렬 데이터를 생성한다.
• OPUS-100에서 단일-다중 및 다중-다중 설정을 평가하고 제로샷 번역에 대해 BLEU 및 번역-언어 정확도를 보고한다.

실험 결과

연구 질문

• RQ1 모델링 용량을 증가시키는 것이 많은-대 많은 언어 방향에서 다국어 NMT 성능에 어떤 영향을 미치는가?
• RQ2 언어 인식 정규화와 언어 인식 선형 변환이 용량 병목을 완화하고 제로샷 번역을 개선할 수 있는가?
• RQ3 온라인 역번역(ROBt)이 오타깝고(오타가 아닌) 오타 번역을 줄이고 제로샷 BLEU를 향상시키며 피봇 기반 방법에 접근하는가?
• RQ4 더 깊은 Transformer 아키텍처가 언어 인식 구성요소에 비해 다국어 NMT의 성능 및 확장성에 어떤 차이를 보이는가?
• RQ5 언어 쌍 간의 학습 데이터 규모가 이러한 방법의 효과에 어떤 영향을 미치는가?

주요 결과

• 다국어 NMT는 모델 용량이 커질수록 큰 개선을 보이며 이중언어 모델에 대한 차이를 좁히고 특히 자원이 적은 언어에서 더 큰 이점을 얻는다.
• 언어 인식 모델링(LaLn 및 LaLt)은 제로샷 성능을 크게 개선하고 오타 번역을 줄이며, 특히 LaLt가 주목할 만한 이점을 제공한다.
• Transformer의 심화는 이득이 있으며 LaLn 및 LaLt와 결합될 때 확인된 모든 비교군 중에서 최상의 성능을 낳는다.
• Random Online Backtranslation(ROBt)은 오타 번역을 약 50% 정도 줄이고 제로샷 BLEU를 약 10 포인트 증가시키며 피봇 기반 방법에 접근하게 하며 수천 스텝 내에 수렴한다.
• OPUS-100(100개 언어에 걸친 5500만 문장 페어)에서 심층 Transformer, LaLn, LaLt 및 ROBt의 조합은 이중언어 NMT 및 피봇 방법과의 차이를 좁히는 한편 제로샷에서 큰 개선을 달성한다.
• 제로샷 번역 정확도(ACC zero)는 ROBt로 약 35–50%의 이익에서 약 85–87%로 개선되며 제로샷 BLEU 이득은 최대 10.11에 이른다.