[논문 리뷰] MENYO-20k: A Multi-domain English-Yorùbá Corpus for Machine Translation and Domain Adaptation.

David Ifeoluwa Adelani, Dana Ruiter외 6명|arXiv (Cornell University)|2021. 03. 15.

Natural Language Processing Techniques인용 수 4

한 줄 요약

이 논문은 표준화된 훈련-검증 분할을 갖춘 저자원 언어 쌍인 요르وبا-영어를 위한 첫 번째 다중 도메인 병렬 코퍼스인 MENYO-20k를 소개한다. MENYO-20k에서 일반 다국어 모델을 미세조정하면 BLEU 점수에서 크게 향상되며, 각각 페이스북의 M2M-100과 구글의 다국어 NMT 모델보다 +9.9 및 +8.6 향상된다. 이는 영어-요르وبا 번역에서 제로-샷 및 희소-샷 번역 설정 모두에서 사전 훈련된 모델을 능가한다.

ABSTRACT

Massively multilingual machine translation (MT) has shown impressive capabilities, including zero and few-shot translation between low-resource language pairs. However, these models are often evaluated on high-resource languages with the assumption that they generalize to low-resource ones. The difficulty of evaluating MT models on low-resource pairs is often due the lack of standardized evaluation datasets. In this paper, we present MENYO-20k, the first multi-domain parallel corpus for the low-resource Yoruba--English (yo--en) language pair with standardized train-test splits for benchmarking. We provide several neural MT (NMT) benchmarks on this dataset and compare to the performance of popular pre-trained (massively multilingual) MT models, showing that, in almost all cases, our simple benchmarks outperform the pre-trained MT models. A major gain of BLEU $+9.9$ and $+8.6$ (en2yo) is achieved in comparison to Facebook's M2M-100 and Google multilingual NMT respectively when we use MENYO-20k to fine-tune generic models.

연구 동기 및 목표

• 요르바-영어와 같은 저자원 언어 쌍을 위한 표준화된 평가 데이터셋 부족 문제를 해결하기 위해.
• 저자원 언어 쌍에서 신경 기반 기계 번역 모델의 신뢰할 수 있는 벤치마킹을 가능하게 하기 위해.
• 요르바 번역 성능 향상을 위해 정제된 다중 도메인 병렬 코퍼스를 제공하여 미세조정을 가능하게 하기 위해.
• 사전 훈련된 다국어 모델과 미세조정된 모델이 저자원 언어 쌍에서 어떻게 성능을 내는지 평가하기 위해.
• MENYO-20k에서 도메인 특화 미세조정이 일반 사전 훈련된 모델보다 번역 품질을 크게 향상시킨다는 것을 입증하기 위해.

제안 방법

• 영어 및 요르바어로 된 여러 도메인(예: 뉴스, 소셜 미디어, 교육 등)에서 구성된 20,000개의 문장 쌍으로 이루어진 병렬 코퍼스인 MENYO-20k의 구축.
• 모델 간의 재현 가능성과 공정한 평가를 보장하기 위해 표준화된 훈련-검증 분할 적용.
• M2M-100, 구글의 다국어 NMT 등 사전 훈련된 다국어 신경 기반 기계 번역 모델을 MENYO-20k의 훈련 분할에 대해 미세조정.
• 표준화된 테스트 분할에서 BLEU 점수를 사용하여 번역 품질 평가.
• 성능 향상을 평가하기 위해 미세조정된 모델을 원본 사전 훈련된 모델과 비교.
• 모델 적응 및 제로-샷 및 희소-샷 일반화 향상을 위해 도메인 특화 데이터 활용.

실험 결과

연구 질문

• RQ1 다중 도메인 병렬 코퍼스가 요르바-영어와 같은 저자원 언어 쌍의 신경 기반 기계 번역 성능을 크게 향상시킬 수 있는가?
• RQ2 MENYO-20k에서 일반 다국어 모델을 미세조정하는 것과 사전 훈련된 모델을 직접 사용하는 것의 성능은 제로-샷 및 희소-샷 설정에서 어떻게 비교되는가?
• RQ3 훈련 데이터의 도메인 다양성이 저자원 언어 쌍에서 번역 품질 향상에 어느 정도 기여하는가?
• RQ4 기존 데이터셋과 비교해 MENYO-20k는 저자원 MT 시스템의 더 신뢰할 수 있고 표준화된 벤치마킹을 가능하게 하는가?
• RQ5 en2yo 번역 방향에서 MENYO-20k에서 도메인 적응형 미세조정을 통해 달성 가능한 성능 향상 수준은 어느 정도인가?

주요 결과

• MENYO-20k에서 일반 다국어 모델을 미세조정하면 영어-요르바 번역에서 페이스북의 M2M-100 모델보다 BLEU 점수에서 +9.9 향상된다.
• MENYO-20k에서 미세조정을 통해 영어-요르바 방향에서 구글의 다국어 NMT 모델보다 BLEU 점수에서 +8.6 향상된다.
• MENYO-20k에서 제안된 벤치마킹은 모든 평가 설정에서 사전 훈련된 다국어 모델을 뛰어넘는 일관된 성능 향상을 보인다.
• MENYO-20k의 다중 도메인 특성은 저자원 번역 환경에서 더 나은 일반화와 강건성을 기여한다.
• MENYO-20k의 표준화된 훈련-검증 분할은 저자원 MT 시스템의 신뢰할 수 있고 재현 가능한 평가를 가능하게 한다.
• 결과는 도메인 적응형 미세조정이 저자원 환경에서 번역 품질 향상에 매우 효과적이라는 것을 입증한다.