[논문 리뷰] Improving Multilingual Neural Machine Translation For Low-Resource Languages: French,English - Vietnamese

Thi-Vinh Ngo, Phuong-Thai Nguyen외 3명|arXiv (Cornell University)|2020. 12. 16.

Natural Language Processing Techniques참고 문헌 23인용 수 7

한 줄 요약

이 논문은 저자원 프랑스어-베트남어 및 영어-베트남어 번역 쌍을 위한 다국어 신경 기계 번역(NMT)을 향상시키기 위해 아키텍처에 종속되지 않는 두 가지 간단한 방법을 제안한다: 공유 다국어 공간에서 동적으로 단어 유사도를 학습하고, 훈련 중 희귀어 임베딩에 스칼라 조정을 도입하는 것이다. 이 방법은 双어 기반 모델 대비 +2.54 BLEU 포인트의 성능 향상을 달성하였으며, 특히 자기학습 기반의 합성 데이터 증강 기법으로서의 성과가 두드러진다.

ABSTRACT

Prior works have demonstrated that a low-resource language pair can benefit from multilingual machine translation (MT) systems, which rely on many language pairs' joint training. This paper proposes two simple strategies to address the rare word issue in multilingual MT systems for two low-resource language pairs: French-Vietnamese and English-Vietnamese. The first strategy is about dynamical learning word similarity of tokens in the shared space among source languages while another one attempts to augment the translation ability of rare words through updating their embeddings during the training. Besides, we leverage monolingual data for multilingual MT systems to increase the amount of synthetic parallel corpora while dealing with the data sparsity problem. We have shown significant improvements of up to +1.62 and +2.54 BLEU points over the bilingual baseline systems for both language pairs and released our datasets for the research community.

연구 동기 및 목표

• 저자원 다국어 신경 기계 번역 시스템에서 희귀어 번역 문제를 해결한다.
• 제한된 병렬 데이터를 가진 프랑스어-베트남어 및 영어-베트남어 번역 쌍의 번역 품질을 향상시킨다.
• 자기학습을 통해 단일 언어 데이터를 활용하여 합성 병렬 코퍼스를 생성함으로써 단일 언어 데이터의 효과성을 탐색한다.
• 모델 크기를 늘리지 않고도 희귀어 표현을 향상시키기 위해 경량이며 아키텍처에 종속되지 않는 수정 방법을 개발한다.
• 향후 저자원 NMT 연구를 지원하기 위해 TED 강연에서 유래한 새로운 다국어 데이터셋을 공개한다.

제안 방법

• 다국어 NMT 시스템으로부터 유도된 다국어 간의 상호 정렬을 이용해 외부 자원(이중어 사전, WordNet 등)이 필요 없이 공유 다국어 임베딩 공간에서 단어 유사도를 동적으로 학습한다.
• 희귀어 임베딩에 스칼라 조정을 도입하여 빈도가 높은 단어에 대한 모델의 편향을 보완하고, 희귀어의 번역 가능성 확률을 향상시킨다.
• 전방 NMT 모델을 사용해 단일 언어 쪽 입력 데이터를 활용하여 합성 타겟 쪽 번역을 생성함으로써 단일 언어 데이터에 대해 자기학습을 적용하고, 가짜 병렬 병렬 데이터를 생성한다.
• 실제 병렬 데이터와 합성 병렬 데이터 양쪽에 대해 다국어 모델을 미세조정하며, 반복적 훈련을 통해 학습 안정성과 일반화 능력을 향상시킨다.
• 저자원 환경에서의 데이터 희소성 문제를 완화하기 위해 TED 강연 도메인의 단일 언어 데이터를 활용하여 훈련 데이터 양을 늘린다.
• 모델 아키텍처를 수정하지 않고 다국어 Transformer 기반 아키텍처를 기본 모델로 사용하여 호환성과 확장성을 확보한다.

실험 결과

연구 질문

• RQ1 공유 다국어 임베딩 공간에서 동적으로 단어 유사도를 학습하는 것이 저자원 NMT 시스템에서 희귀어 번역을 향상시키는 데 기여하는가?
• RQ2 모델 아키텍처를 수정하지 않고도 희귀어 임베딩에 스칼라 조정을 도입하면 번역 품질 향상에 측정 가능한 영향을 미치는가?
• RQ3 단일 언어 데이터에 대한 자기학습이 프랑스어-베트남어 및 영어-베트남어와 같은 저자원 언어 쌍의 다국어 NMT 성능을 어느 정도 향상시키는가?
• RQ4 고자원 언어 쌍(예: 프랑스어)에서 유도된 합성 데이터의 포함이 저자원 타겟 언어 쌍(예: 베트남어)의 성능에 어떤 영향을 미치는가?
• RQ5 경량이며 비모수적 방법이 희귀어 처리에서 기존 방법을 능가할 수 있으며, 모델 효율성을 유지할 수 있는가?

주요 결과

• 제안된 방법은 영어→베트남어 번역 작업에서 이중어 기반 모델 대비 +2.54 BLEU 포인트 향상을 달성하였다.
• 프랑스어→베트남어 시스템의 경우 +1.62 BLEU 포인트 향상을 기록하여 두 저자원 쌍 모두에서 일관된 성능 향상을 입증하였다.
• 단일 언어 데이터에 대한 자기학습을 통해 고품질의 합성 병렬 데이터를 생성하였으며, 1.2k개 샘플의 가짜 병렬 세트가 평균 모델에서 18.71 BLEU 포인트를 기록하였다.
• 실제 데이터와 합성 데이터를 모두 사용해 훈련한 시스템은 일반화 능력이 뛰어나며, 특히 프랑스어→베트남어 쌍에서 유의미한 이점을 보였다.
• 희귀어 임베딩에 대한 스칼라 조정이 초기 훈련 단계에서 특히 희귀어의 번역 가능성 확률을 높이는 데 기여하였다.
• 저자들이 TED 강연에서 유래한 새로운 다국어 데이터셋(프랑스어-베트남어 및 영어-베트남어 병렬 및 단일 언어 데이터 포함)을 공개하여 향후 연구를 지원하였다.