[논문 리뷰] Multilingual Neural Machine Translation for Zero-Resource Languages

Surafel M. Lakew, Marcello Federico외 2명|arXiv (Cornell University)|2019. 09. 16.

Natural Language Processing Techniques참고 문헌 44인용 수 4

한 줄 요약

이 논문은 영어, 이탈리아어, 루마니아어 간에 공유된 의미 표현을 사용하여 저자원 언어 쌍에 대한 제로샷 번역을 향상시키는 다국어 신경 기계 번역(NMT) 프레임워크를 제안한다. 모델이 자체 번역에서 생성한 단일 언어 데이터를 반복적으로 자기학습함으로써, 성능이 완전히 지도된 双어 시스템과 유사한 결과를 달성하며, 피봇 기반 방법을 능가하고 저자원 환경에서 효과적인 파rameter 전이를 보여준다.

ABSTRACT

In recent years, Neural Machine Translation (NMT) has been shown to be more effective than phrase-based statistical methods, thus quickly becoming the state of the art in machine translation (MT). However, NMT systems are limited in translating low-resourced languages, due to the significant amount of parallel data that is required to learn useful mappings between languages. In this work, we show how the so-called multilingual NMT can help to tackle the challenges associated with low-resourced language translation. The underlying principle of multilingual NMT is to force the creation of hidden representations of words in a shared semantic space across multiple languages, thus enabling a positive parameter transfer across languages. Along this direction, we present multilingual translation experiments with three languages (English, Italian, Romanian) covering six translation directions, utilizing both recurrent neural networks and transformer (or self-attentive) neural networks. We then focus on the zero-shot translation problem, that is how to leverage multi-lingual data in order to learn translation directions that are not covered by the available training material. To this aim, we introduce our recently proposed iterative self-training method, which incrementally improves a multilingual NMT on a zero-shot direction by just relying on monolingual data. Our results on TED talks data show that multilingual NMT outperforms conventional bilingual NMT, that the transformer NMT outperforms recurrent NMT, and that zero-shot NMT outperforms conventional pivoting methods and even matches the performance of a fully-trained bilingual system.

연구 동기 및 목표

• 병렬 훈련 데이터가 부족하거나 가용하지 않은 저자원 언어 번역 문제를 해결한다.
• 훈련 데이터에 포함되지 않은 언어 쌍 간의 제로샷 번역을 향상시킬 수 있는 다국어 NMT의 가능성을 탐색한다.
• 단일 언어 데이터를 활용하여 반복적으로 제로샷 번역 성능을 향상시키는 자기학습 방법을 개발한다.
• 다국어 및 제로샷 환경에서 순환 NMT와 Transformer 아키텍처의 성능을 비교한다.
• 자기학습이 제로샷 번역 시스템과 완전히 지도된 번역 시스템 간의 성능 격차를 줄일 수 있음을 입증한다.

제안 방법

• 영어, 이탈리아어, 루마니아어 3개 언어의 병렬 데이터를 사용하여 언어별 토큰을 활용해 번역 방향을 조절하는 단일 다국어 NMT 모델을 훈련한다.
• 모델이 직접적인 병렬 데이터 없이도 이탈리아어와 루마니아어 간의 번역을 수행하는 제로샷 번역 설정을 적용한다.
• 반복적인 자기학습 루프를 구현: 모델의 번역에서 생성된 단일 언어 번역을 취득하고, 가장 우수한 추론 결과를 걸러내어 재학습하며, 여러 라운드에 걸쳐 반복한다.
• 이중 추론 전략을 사용하여 양방향 병렬 유사 데이터(예: 이탈리아어→루마니아어 및 루마니아어→이탈리아어)를 동시에 생성한다.
• 평가를 위해 보류된 테스트 세트에서 BLEU 점수를 사용하여 双어 기준 모델 및 피봇 방법과 성능을 비교한다.
• 증강된 데이터에서 최대 3 에포크를 반복하는 5라운드의 자기학습을 통해 모델을 미세조정한다.

실험 결과

연구 질문

• RQ1 공유된 표현을 사용하는 다국어 NMT가 저자원 언어 쌍에 대한 제로샷 번역 성능을 향상시킬 수 있는가?
• RQ2 제로샷 환경에서 다국어 NMT의 성능이 전통적인 双어 NMT 및 피봇 방법과 비교하여 어떻게 다른가?
• RQ3 모델이 생성한 단일 언어 데이터를 반복적으로 자기학습함으로써 제로샷 번역 품질이 얼마나 향상될 수 있는가?
• RQ4 다국어 및 제로샷 번역 환경에서 Transformer 아키텍처가 순환 NMT보다 우수한 성능을 보이는가?
• RQ5 모델이 생성한 데이터에 대한 자기학습이 결국 완전히 지도된 双어 시스템의 성능을 따라잡거나 초월할 수 있는가?

주요 결과

• 공유된 파라미터를 통해 다국어 NMT 모델은 저자원 환경에서 기존의 双어 NMT 시스템을 능가하며, 더 높은 BLEU 점수를 달성한다.
• 모든 번역 방향에서, 특히 제로샷 설정에서도 Transformer 아키텍처가 순환 NMT 모델을 일관되게 능가한다.
• 첫 번째 라운드에서 반복적인 자기학습 방법은 이탈리아어→루마니아어 번역에서 +10.50 BLEU 포인트(4.72에서 15.22로) 향상되었고, 루마니아어→이탈리아어 번역에서는 +11.22 BLEU 포인트(5.09에서 16.31로) 향상되었다.
• 5라운드의 자기학습을 거친 후, 이탈리아어→루마니아어 번역에서 20.11 BLEU, 루마니아어→이탈리아어 번역에서 22.41 BLEU를 기록하여, 완전히 지도된 双어 시스템의 성능(각각 20.10 및 21.36 BLEU)을 도달하거나 略로 초월했다.
• 자기학습 접근법은 단일 쌍 피봇 및 다국어 피봇 방법을 모두 능가하며, 5라운드에서 두 제로샷 방향에서 다국어 피봇 방법 대비 각각 +3.34 및 +3.02 BLEU 향상되었다.
• 결과는 자기학습이 시간이 지남에 따라 더 깔끔하고 고품질의 번역을 만들어내며, 효과적인 자기 보정과 점진적 학습이 이루어지고 있음을 시사한다.