[논문 리뷰] Low-Resource Neural Machine Translation for Southern African Languages

Evander Nyoni, Bruce A. Bassett|arXiv (Cornell University)|2021. 04. 01.

Natural Language Processing Techniques참고 문헌 24인용 수 9

한 줄 요약

이 논문은 관련된 반투어족 언어 간의 공유 표현을 활용하여 자원이 적은 영어-이지줄루 번역을 향상시키기 위해 다국어 신경 기계 번역(NMT)을 제안한다. 영어-이시호사 및 영어-이지줄루 데이터를 공동으로 훈련함으로써, 기준 모델 대비 9.9 BLEU 포인트 향상된 18.6 BLEU의 새로운 SOTA 점수를 기록하며, 전이 학습 및 제로샷 학습을 뛰어넘는 성능을 보였다.

ABSTRACT

Low-resource African languages have not fully benefited from the progress in neural machine translation because of a lack of data. Motivated by this challenge we compare zero-shot learning, transfer learning and multilingual learning on three Bantu languages (Shona, isiXhosa and isiZulu) and English. Our main target is English-to-isiZulu translation for which we have just 30,000 sentence pairs, 28% of the average size of our other corpora. We show the importance of language similarity on the performance of English-to-isiZulu transfer learning based on English-to-isiXhosa and English-to-Shona parent models whose BLEU scores differ by 5.2. We then demonstrate that multilingual learning surpasses both transfer learning and zero-shot learning on our dataset, with BLEU score improvements relative to the baseline English-to-isiZulu model of 9.9, 6.1 and 2.0 respectively. Our best model also improves the previous SOTA BLEU score by more than 10.

연구 동기 및 목표

• 남아프리카의 언어, 특히 30,000개의 병렬 문장 쌍만 존재하는 이지줄루어에 대해 자원이 적은 신경 기계 번역(NMT) 문제를 해결한다.
• 반투어족 언어의 자원이 적은 NMT 환경에서 제로샷 학습, 전이 학습, 다국어 학습의 효과성을 조사한다.
• 언어학적 유사성, 특히 누니어족 하위 집단 내에서의 유사성이 번역 성능에 미치는 영향을 평가한다.
• 자원 효율적인 기법을 활용하여 영어-이지줄루 번역의 현재 최고 성능(SOTA) BLEU 점수를 향상시킨다.

제안 방법

• 영어-이시호사(E-X) 및 영어-이지줄루(E-Z) 병렬 코퍼스를 공동으로 훈련하여 언어 간 공유 표현을 구현하는 다국어 트랜스포머 기반 NMT 모델을 훈련한다.
• 미리 훈련된 영어-이시호사 모델을 자원이 적은 영어-이지줄루 번역 작업에 맞게 미세조정함으로써 전이 학습을 적용한다.
• 다국어 모델을 활용하여 해당 쌍에 대한 직접 훈련 없이 영어-이지줄루 번역을 수행함으로써 제로샷 학습을 구현한다.
• 조건부 로그우도를 최대화하도록 트레이닝하는 트랜스포머 아키텍처를 사용하며, 멀티헤드 자기주의 어텐션과 위치 기반 피드포워드 네트워크를 포함한다.
• 일반화 성능 향상을 위해 지식 정렬 및 공유 임bedding 레이어를 적용한다.
• 보존된 테스트 세트에서 BLEU 점수를 사용해 성능을 평가하며, 통계적 유의성은 표준 오차 추정치를 통해 평가한다.

실험 결과

연구 질문

• RQ1 다국어 학습이 영어-이지줄루 번역 품질 향상에 있어 전이 학습 및 제로샷 학습보다 어떻게 비교되는가?
• RQ2 특히 이시호사 및 이지줄루와 같은 누니어족 언어 간의 언어학적 유사성이 전이 학습 성능에 얼마나 큰 영향을 미치는가?
• RQ3 원격 부모 모델(예: 영어-쇼나)을 사용할 경우, 영어-이지줄루로의 제로샷 번역이 전이 학습을 능가할 수 있는가?
• RQ4 공유 다국어 표현이 자원이 적은 언어 쌍의 BLEU 점수 향상에 미치는 영향은 어떠한가?
• RQ5 다국어 훈련이 자원이 적은 환경에서 관련 언어 모델에서의 미세조정보다 뚜렷이 뛰어나게 성능을 높이는가?

주요 결과

• 다국어 학습은 영어-이지줄루 번역에서 18.6 ± 1.0 BLEU 점수를 기록하여 기준 모델 대비 9.9 BLEU 포인트 향상되었다.
• 이 모델은 이전 SOTA BLEU 점수를 10점 이상 뛰어넘으며, 영어-이지줄루 번역 분야에서 새로운 최고 기록을 수립했다.
• 영어-이시호사 모델을 사용한 전이 학습은 기준 모델 대비 6.1 BLEU 포인트 향상되었고, 영어-쇼나에서의 전이 학습은 단지 0.9 BLEU에 그쳐 언어 유사성의 중요성을 입증했다.
• 이시호사(6.6)를 부모 모델로 사용한 전이 학습과 쇼나(0.9)를 부모 모델로 사용한 전이 학습 간의 BLEU 차이는 5.2였으며, 이는 언어 유사성이 성능에 강력한 영향을 미친다는 것을 확인시켰다.
• 제로샷 학습은 쇼나를 부모 모델로 사용한 전이 학습보다 1.0 BLEU 높은 성능을 보였으며, 이는 원격 부모 모델이 제로샷 환경에서 비유사 모델보다 더 효과적일 수 있음을 시사한다.
• 다국어 모델은 최고의 전이 학습 모델(E-X 부모) 대비 3.8 BLEU 포인트 우수했고, E-S 부모 모델 대비 9.0 BLEU 포인트 뛰어나, 자원이 적은 환경에서의 우월성을 입증했다.