[논문 리뷰] Neural Machine Translation for Low-Resourced Indian Languages

Himanshu Choudhary, Shivansh Rao외 1명|arXiv (Cornell University)|2020. 04. 19.

Natural Language Processing Techniques참고 문헌 23인용 수 6

한 줄 요약

이 논문은 저자원 인도어인 영어-타밀어 및 영어-말라요람어 번역을 위해 다중 헤드 자기주의, 사전 훈련된 바이트 쌍편성(BPE) 및 멀티BPE 임베딩을 사용하여 어휘 외 단어(OOV) 문제와 형태학적 복잡성을 해결하는 새로운 신경 기계 번역(NMT) 모델을 제안한다. 모델은 영어-말라요람어에서 25.36 BLEU, 영어-타밀어에서 9.67 BLEU를 기록하여 각각 Google 번역(9.40 및 5.71 BLEU)을 크게 능가하며, 형태학적으로 풍부한 저자원 언어 쌍에서 뛰어난 성능과 강건성을 입증한다.

ABSTRACT

A large number of significant assets are available online in English, which is frequently translated into native languages to ease the information sharing among local people who are not much familiar with English. However, manual translation is a very tedious, costly, and time-taking process. To this end, machine translation is an effective approach to convert text to a different language without any human involvement. Neural machine translation (NMT) is one of the most proficient translation techniques amongst all existing machine translation systems. In this paper, we have applied NMT on two of the most morphological rich Indian languages, i.e. English-Tamil and English-Malayalam. We proposed a novel NMT model using Multihead self-attention along with pre-trained Byte-Pair-Encoded (BPE) and MultiBPE embeddings to develop an efficient translation system that overcomes the OOV (Out Of Vocabulary) problem for low resourced morphological rich Indian languages which do not have much translation available online. We also collected corpus from different sources, addressed the issues with these publicly available data and refined them for further uses. We used the BLEU score for evaluating our system performance. Experimental results and survey confirmed that our proposed translator (24.34 and 9.78 BLEU score) outperforms Google translator (9.40 and 5.94 BLEU score) respectively.

연구 동기 및 목표

• 신경 기계 번역에서 형태학적으로 풍부한 저자원 인도어인 타밀어 및 말라요람어의 과제를 해결하기 위해.
• 사전 훈련된 BPE 및 멀티BPE 임베딩을 활용한 서브워드 토크나이제이션을 통해 형태학적으로 복잡한 언어에서 흔히 발생하는 어휘 외 단어(OOV) 문제를 해결하기 위해.
• 경량 NMT 아키텍처에 다중 헤드 자기주의 기반 메커니즘을 통합하여 번역 품질을 향상시키기 위해.
• 영어-타밀어, 영어-말라요람어, 영어-텔루구어, 영어-벵골어, 영어-우르두어 등에 대한 정제된 공개 가능 병렬 코퍼스를 구축하고 배포하기 위해.
• 모델을 Google 번역 및 모국어 사용자와의 비교를 통해 평가하여 실제 적용 가능성과 성능 향상을 입증하기 위해.

제안 방법

• 저자들은 장거리 의존성을 포착하고 번역 품질을 향상시키기 위해 다중 헤드 자기주의 기반의 트랜스포머 NMT 아키텍처를 사용한다.
• 모든 언어에 대해 사전 훈련된 다국어 fastText 임베딩을 사용하며, OOV 비율을 줄이기 위해 BPE 및 멀티BPE 서브워드 토크나이제이션을 적용한다.
• 모델은 드롭아웃 정규화(0.3)와 기준 임베딩 차원 300을 사용한 Adam 옵timizer로 훈련된다.
• 데이터 전처리 과정으로 50 토큰을 초과하는 문장을 필터링하고, 노이즈가 많은 번역을 제거하며, 중복되거나 이미 번역된 콘텐츠를 제거한다.
• 최종 모델은 6층 인코더와 디코더를 갖추고 있으며, 8헤드 다중 헤드 주의와 100,000 어휘의 멀티BPE 임베딩을 사용하여 최적의 성능을 달성한다.
• BLEU 점수와 타밀어 모국어 사용자에 의한 인간 평가를 통해 어법과 정확도를 검증하는 평가를 실시한다.

실험 결과

연구 질문

• RQ1 다중 헤드 자기주의와 사전 훈련된 멀티BPE 임베딩을 조합하여 저자원 인도어인 타밀어 및 말라요람어에서 OOV 문제를 크게 줄일 수 있는가?
• RQ2 표준 단어 수준 임베딩에 비해 BPE 및 멀티BPE 임베딩의 통합이 형태학적으로 풍부한 언어에서 번역 성능을 어떻게 향상시키는가?
• RQ3 제안된 NMT 모델이 영어-인도어 언어 쌍에서 구글 번역과 같은 상용 시스템을 얼마나 뛰어나게 성능으로 승리하는가?
• RQ4 데이터 전처리 과정이 저자원 언어 번역을 위한 병렬 코퍼스의 품질과 신뢰성 향상에 어떤 역할을 하는가?
• RQ5 효율적인 서브워드 토크나이제이션을 갖춘 비교적 경량 NMT 모델이 복잡하고 자원을 많이 소비하는 아키텍처와 비교해도 성능이 유사하거나 뛰어나게 달성할 수 있는가?

주요 결과

• 제안된 NMT 모델은 영어-말라요람어 번역 작업에서 25.36 BLEU 점수를 기록하여 Google 번역의 9.40 BLEU 점수를 크게 뛰어넘었다.
• 영어-타밀어 작업에서는 9.67 BLEU를 기록했으며, Google 번역의 5.71 BLEU에 비해 3.96 포인트 향상된 성과를 보였다.
• 멀티BPE 임베딩의 사용은 OOV 문제를 감소시키고, 특히 타밀어 및 말라요람어의 희귀하고 복잡한 형태학적 형태에서 일반화 능력을 향상시켰다.
• 인간 평가 결과, 타밀어 모국어 사용자 중 60%가 모델의 번역을 Google 번역보다 선호했다.
• 다중 헤드 주의와 멀티BPE 임베딩을 통합한 최종 모델가 가장 높은 성능을 기록하며, 주의 메커니즘과 서브워드 수준의 사전 훈련된 임베딩을 조합한 것이 효과적임을 입증했다.
• 저자들은 영어-타밀어, 영어-말라요람어, 기타 인도어 언어 쌍에 대해 10만 개 이상의 문장 쌍을 포함한 정제된 공개 가능한 병렬 코퍼스를 배포하여 향후 연구를 지원했다.