[논문 리뷰] A Focus on Neural Machine Translation for African Languages

Laura Martinus, Jade Abbott|arXiv (Cornell University)|2019. 06. 11.

Natural Language Processing Techniques참고 문헌 19인용 수 37

한 줄 요약

이 논문은 ConvS2S와 Transformer NMT 아키텍처를 사용하여 영어에서 남아프리카 공화국의 다섯 공식 언어로 번역을 학습하고 재현성과 아프리카 MT의 벤치마크를 다루기 위해 데이터/코드를 공개합니다.

ABSTRACT

African languages are numerous, complex and low-resourced. The datasets required for machine translation are difficult to discover, and existing research is hard to reproduce. Minimal attention has been given to machine translation for African languages so there is scant research regarding the problems that arise when using machine translation techniques. To begin addressing these problems, we trained models to translate English to five of the official South African languages (Afrikaans, isiZulu, Northern Sotho, Setswana, Xitsonga), making use of modern neural machine translation techniques. The results obtained show the promise of using neural machine translation techniques for African languages. By providing reproducible publicly-available data, code and results, this research aims to provide a starting point for other researchers in African machine translation to compare to and build upon.

연구 동기 및 목표

• 아프리카 언어 MT를 저해하는 주요 문제(자원 부족, 발견 가능성, 재현성, 벤치마크)를 식별합니다.
• 영어에서 남부 아프리카의 다섯 언어로 최첨단 NMT 모델(ConvS2S 및 Transformer)을 학습하고 평가합니다.
• 향후 연구를 위한 기준선과 벤치마크를 확립하기 위해 공개 데이터, 코드 및 결과를 제공합니다.

제안 방법

• 공개 Autshumato 병렬 코퍼스를 문장 단위로 정렬하고 중복을 제거하여 데이터 누수를 방지합니다.
• 각 언어에서 기본 Fairseq 및 Tensor2Tensor 설정으로 각각 ConvS2S(Word 및 Best BPE)와 Transformer 모델을 학습합니다.
• 디코딩 시 빔 서치를 적용합니다(ConvS2S의 빔 폭 5, Transformer의 빔 폭 4).
• 단어 기반 토큰화와 바이트 페어 인코딩(BPE) 토큰화를 실험하고 각 언어에 대한 최적의 BPE 토큰 수를 선택하는 소거 연구를 포함합니다.
• BLEU 점수로 평가하고 주의 시각화 및 역번역(back-translation)을 포함한 질적 분석을 수행합니다.

실험 결과

연구 질문

• RQ1 ConvS2S와 Transformer 아키텍처를 사용하여 영어에서 다섯 개의 남아프리카 언어로의 번역에서 달성 가능한 BLEU 점수는 얼마인가?
• RQ2 저자원 아프리카 언어의 경우 단어 기반 토큰화에 비해 하위 단위(BPE) 토큰화가 번역 품질을 향상시키는가?
• RQ3 데이터 크기와 언어 형태소(교합형/비 교합형)가 이 설정에서 NMT 성능에 어떤 영향을 미치는가?
• RQ4 공개적으로 공개된 데이터/코드가 향후 아프리카 MT 연구를 위한 재현 가능한 기준선과 벤치마크를 확립할 수 있는가?

주요 결과

• Transformer는 일반적으로 모든 언어에서 ConvS2S보다 우수한 성능을 보인다.
• BPE 토큰화가 단어 기반 토큰화보다 일관되게 더 나은 성능을 보인다.
• 데이터 세트 규모와 형태소 복잡성과의 상관 관계가 있으며; 작은 데이터와 저품질 데이터로 인해 isiZulu와 Northern Sotho의 성능이 최저이며, Xitsonga와 Setswana는 더 많은 데이터로 더 나은 성능을 보인다.
• 비교적 작은 병렬 데이터에도 불구하고 Afrikaans(비교합언어)가 합리적인 결과를 달성한다.
• Transformer로 isiZulu의 최대 BLEU는 3.33으로, 데이터 품질/크기의 심각한 문제를 나타낸다.
• 공개 데이터/코드는 재현성을 가능하게 하고 다섯 언어에 대한 시작 벤치마크를 만든다.