[논문 리뷰] MMTAfrica: Multilingual Machine Translation for African Languages

Chris Chinenye Emezue, Bonaventure F. P. Dossou|arXiv (Cornell University)|2022. 04. 08.

Natural Language Processing Techniques인용 수 14

한 줄 요약

MMTAfrica는 Fon, Igbo, Kinyarwanda, Swahili, Xhosa, Yoruba 및 영어, 프랑스어를 포함한 여섯 종의 아프리카어를 위한 첫 번째 다대다 다국어 신경 기계 번역 시스템을 제안한다. 이는 단일 모델이 42개 언어 간 방향을 모두 처리할 수 있도록 설계되었으며, 단일 모델을 통해 영어 및 프랑스어를 포함한 모든 언어 간 번역을 지원한다. 또한 단일 언어 데이터를 효과적으로 활용하기 위해 백번역과 재구성의 조합인 BT&REC 학습 목표를 도입하여, FLORES 101 벤치마크에서 spBLEU 점수를 최대 +19.46까지 향상시키며 뛰어난 성능을 기록하였다. 또한 재현 가능성을 위해 새로운 테스트 세트와 코드를 공개하였다.

ABSTRACT

In this paper, we focus on the task of multilingual machine translation for African languages and describe our contribution in the 2021 WMT Shared Task: Large-Scale Multilingual Machine Translation. We introduce MMTAfrica, the first many-to-many multilingual translation system for six African languages: Fon (fon), Igbo (ibo), Kinyarwanda (kin), Swahili/Kiswahili (swa), Xhosa (xho), and Yoruba (yor) and two non-African languages: English (eng) and French (fra). For multilingual translation concerning African languages, we introduce a novel backtranslation and reconstruction objective, BT\&REC, inspired by the random online back translation and T5 modeling framework respectively, to effectively leverage monolingual data. Additionally, we report improvements from MMTAfrica over the FLORES 101 benchmarks (spBLEU gains ranging from $+0.58$ in Swahili to French to $+19.46$ in French to Xhosa). We release our dataset and code source at https://github.com/edaiofficial/mmtafrica.

연구 동기 및 목표

• 다국어 기계 번역에서 아프리카어의 부족한 표현 문제, 특히 저자원 환경에서의 문제를 해결하기 위해.
• 여섯 종의 아프리카어와 영어, 프랑스어를 포함한 여덟 언어 간 42개 언어 방향을 모두 처리할 수 있는 다대다 다국어 번역 시스템을 개발하기 위해.
• 새로운 학습 목표를 통해 단일 언어 데이터를 효과적으로 활용하여 아프리카어 번역 품질을 향상시키기 위해.
• 새로운 고도로 대표적인 테스트 세트(MMTAfrica Test Set)를 제작하고 종합적인 평가 결과를 보고하여 아프리카어 번역을 위한 벤치마크를 구축하기 위해.

제안 방법

• 단일 언어 데이터 활용을 향상시키기 위해 랜덤 온라인 백번역과 T5 스타일 재구성의 조합인 새로운 학습 목표 BT&REC를 제안한다.
• 표준 번역 및 재구성 작업을 결합한 다중 목표 손실로 미세조정된 T5 기반의 시퀀스-투-시퀀스 아키텍처를 채택한다.
• 학습 중에 랜덤 언어 선택을 통한 백번역을 적용하여 예측하지 못한 언어 쌍을 시뮬레이션하고 제로샷 일반화 능력을 향상시킨다.
• 공통 다국어 토크나이저를 사용하여 하나의 모델이 모든 42개 언어 방향을 지원하도록 하여 제로샷 및 피셔샷 번역을 가능하게 한다.
• 특히 저자원 아프리카어를 위해 고품질의 단일 언어 및 병렬 데이터 확보를 위해 데이터 필터링 및 필터링 전략을 적용한다.
• 학습 중에 병렬 단일 언어 데이터와 백번역을 조합하고 최적화 과정에서 동적 언어 쌍 샘플링을 수행한다.

실험 결과

연구 질문

• RQ1 아프리카어를 대상으로 학습된 다국어 NMT 모델이 제로샷 및 피셔샷 설정을 포함한 모든 42개 언어 방향에서 뛰어난 성능을 내는가?
• RQ2 표준 백번역 또는 재구성 없이 대비해 BT&REC 목표가 저자원 아프리카어 번역 품질 향상에 얼마나 효과적인가?
• RQ3 영어, 프랑스어 등 고자원 언어에서의 전이 학습이 아프리카어 쌍, 특히 같은 언어 가문에 속하는 언어 쌍으로 얼마나 일반화되는가?
• RQ4 MMTAfrica의 성능이 M2M 및 FLORES 101 등 기존 기준과 비교해 다양한 아프리카어 쌍에서 어떻게 나타나는가?
• RQ5 Fon–Yorùbá와 같은 특정 언어 쌍에서의 모델 성능에서 드러나는 언어학적 또는 구조적 이점에 대한 통찰은 무엇인가?

주요 결과

• MMTAfrica는 M2M 베이스라인 대비 프랑스어 → 쿠아사어 방향에서 최대 spBLEU 점수 +19.46를 기록하며 강력한 제로샷 및 피셔샷 일반화 능력을 입증하였다.
• BT&REC 학습 목표는 모든 언어 쌍에서 일관된 향상을 이끌었으며, 스와힐리어 → 프랑스어에서 +0.58에서 쿠아사어 → 프랑스어에서 +19.46까지의 개선을 보였다.
• Igbo–Yorùbá 및 Fon–Yorùbá와 같은 유사 언어 쌍에서 모델이 특히 뛰어난 성능을 보이며, 언어 유사성이 전이 학습을 향상시킨다는 것을 시사한다.
• 새로운 고도로 대표적인 벤치마크인 MMTAfrica Test Set는 언어 쌍 간 성능 격차가 뚜렷하게 나타남을 드러내었으며, 영어 및 프랑스어를 원천으로 삼는 방향에서 더 높은 점수를 기록하였다.
• FLORES 101 평가에서 MMTAfrica는 모든 42개 언어 방향에서 M2M 베이스라인을 초월하였으며, 여러 저자원 설정에서 평균 spBLEU 점수 개선이 10점 이상 기록되었다.
• 연구는 고자원 언어에서의 전이 학습이 다른 아프리카어 간 전이 학습보다 효과가 떨어지며, 특히 같은 언어 가문 내에서의 전이 학습이 더 효과적이라는 점을 강조하며, AL-to-AL 전이 학습 전략의 필요성을 제기한다.