[논문 리뷰] Extended Parallel Corpus for Amharic-English Machine Translation

Andargachew Mekonnen Gezmu, Andreas Nürnberger외 1명|arXiv (Cornell University)|2021. 04. 08.

Natural Language Processing Techniques참고 문헌 18인용 수 5

한 줄 요약

이 논문은 신문, 잡지, 교과서와 같은 편집된 자료에서 수집한 보정된 고급 수준의 아مهر라어-영어 병렬 코퍼스를 제시한다. 이 코퍼스는 철자 변형과 자원이 부족한 언어 문제를 해결하기 위해 철저한 전처리 및 정규화를 거쳤으며, 통계적 기계 번역 모델과 신경 기계 번역 모델의 훈련을 가능하게 한다. 신경 모델은 통계 모델보다 6–7 BLEU 포인트 높은 성능을 보이며, 서브워드 모델은 단어 기반 모델보다 3–4 BLEU 포인트 높은 성능을 보여, 자원이 부족한 언어 번역 분야에서 뚜렷한 성과 향상을 입증한다.

ABSTRACT

This paper describes the acquisition, preprocessing, segmentation, and alignment of an Amharic-English parallel corpus. It will be helpful for machine translation of a low-resource language, Amharic. We freely released the corpus for research purposes. Furthermore, we developed baseline statistical and neural machine translation systems; we trained statistical and neural machine translation models using the corpus. In the experiments, we also used a large monolingual corpus for the language model of statistical machine translation and back-translation of neural machine translation. In the automatic evaluation, neural machine translation models outperform statistical machine translation models by approximately six to seven Bilingual Evaluation Understudy (BLEU) points. Besides, among the neural machine translation models, the subword models outperform the word-based models by three to four BLEU points. Moreover, two other relevant automatic evaluation metrics, Translation Edit Rate on Character Level and Better Evaluation as Ranking, reflect corresponding differences among the trained models.

연구 동기 및 목표

• 아مهر라어, 즉 복잡한 음절 문자와 철자 불일치 문제를 가진 자원이 부족한 세미틱어인 아مهر라어를 위한 고품질 병렬 코퍼스 부족 문제를 해결하기 위해.
• 웹 스크래핑 데이터가 아닌 신뢰할 수 있는 편집된 자료에서 대규모로 정제되고 정규화된 아مهر라어-영어 병렬 코퍼스를 개발하기 위해.
• 새로운 코퍼스를 기반으로 통계적 및 신경 기계 번역 모델을 훈련하고 평가하여 성능 향상 여부를 벤치마킹하기 위해.
• 서브워드 토크나이제이션과 백트랜슬레이션을 통한 단일언어 데이터 통합이 번역 품질에 미치는 영향을 조사하기 위해.
• 연구를 지원하기 위해 코퍼스를 공개적으로 배포하기 위해.

제안 방법

• 신문, 잡지, 교과서에서 이중어 텍스트를 수집하여 웹 기반 코퍼스보다 더 높은 언어 품질을 확보하기 위해.
• 아مهر라어의 철자 불일치 문제를 줄이기 위해 텍스트 정규화 및 자동 철자 보정을 수행하였다.
• 보편적인 아مهر라어-영어 어휘사전이 부족한 점을 감안해 이중어 어휘사전 의존 없이 비지도 방법을 사용해 문장 수준의 정렬을 수행하였다.
• 코퍼스를 기반으로 문장 기반 통계적 기계 번역(SMT) 및 트랜스포머 기반 신경 기계 번역(NMT) 모델을 훈련시켰다.
• 언어 모델링 향상을 위해 대규모 단일언어 영어 코퍼스를 SMT에 통합하였으며, NMT는 단일언어 데이터를 활용한 백트랜슬레이션을 통해 향상시켰다.
• 희귀어 및 OOV(Out-of-Vocabulary) 단어를 다루기 위해 NMT에서 서브워드 분할(BPE)을 적용하여 일반화 능력을 향상시켰다.

실험 결과

연구 질문

• RQ1 수작업으로 정제된 고품질의 아مهر라어-영어 병렬 코퍼스가 자원이 부족한 언어의 기계 번역 성능 향상에 기여할 수 있는가?
• RQ2 동일한 확장된 코퍼스를 기반으로 훈련된 신경 기계 번역 모델과 통계적 기계 번역 모델 간의 성능 비교는 어떻게 이루어지는가?
• RQ3 서브워드 토크나이제이션이 아مهر라어-영어 번역에서 단어 수준 토크나이제이션보다 측정 가능한 성능 향상을 가져오는가?
• RQ4 백트랜슬레이션을 통한 단일언어 데이터 통합이 아مهر라어 번역 성능 향상에 얼마나 기여하는가?
• RQ5 자동 전처리 및 정규화가 아مهر라어에서 철자 변형을 효과적으로 줄이고 정렬 품질을 향상시킬 수 있는가?

주요 결과

• 신경 기계 번역 모델은 자동 평가에서 통계 모델보다 약 6–7 BLEU 포인트 높은 성능을 보였다.
• 서브워드 기반 NMT 모델은 단어 기반 NMT 모델보다 3–4 BLEU 포인트 높은 성능을 기록하여 희귀어 및 복잡한 아مهر라어 어형 처리 능력이 뛰어나다는 것을 시사한다.
• 문자 수준 번역 편집률(ter-c)과 더 나은 평가 순위 매기기(BER) 지표는 BLEU 점수에서 관찰된 성능 차이를 뒷받침한다.
• 이전의 작은 또는 저품질의 아مهر라어-영어 코퍼스보다 훨씬 우수한 번역 품질 향상을 이끌어내어 경쟁적인 모델 훈련을 가능하게 하였다.
• 백트랜슬레이션을 통한 단일언어 데이터 활용이 특히 자원이 부족한 환경에서 NMT 성능 향상에 더 큰 기여를 하였다.
• 무료로 배포된 코퍼스는 아مهر라어 및 기타 자원이 부족한 언어의 기계 번역 분야 향후 연구에 매우 유용한 자원을 제공한다.