[논문 리뷰] A Recipe for Arabic-English Neural Machine Translation

Abdullah Alrajeh|arXiv (Cornell University)|2018. 08. 18.

Natural Language Processing Techniques참고 문헌 20인용 수 12

한 줄 요약

이 논문은 아랍어-영어 신경 기계 번역(NMT)을 위한 종합적인 조리법을 제시하며, 적절한 아랍어 전처리(정규화 및 토큰화 포함)를 통해 NMT 시스템이 최고 수준의 성능을 달성할 수 있음을 입증한다. 최고의 NMT 시스템은 NIST MT 2012 테스트 세트에서 동등한 어휘 기반 SMT 시스템보다 +13 BLEU 포인트 높은 성능을 기록했으며, Ummah와 같은 고품질 소규모 코퍼스를 활용한 미세조정을 통해 추가로 성능 향상을 이룬다.

ABSTRACT

In this paper, we present a recipe for building a good Arabic-English neural machine translation. We compare neural systems with traditional phrase-based systems using various parallel corpora including UN, ISI and Ummah. We also investigate the importance of special preprocessing of the Arabic script. The presented results are based on test sets from NIST MT 2005 and 2012. The best neural system produces a gain of +13 BLEU points compared to an equivalent simple phrase-based system in NIST MT12 test set. Unexpectedly, we find that tuning a model trained on the whole data using a small high quality corpus like Ummah gives a substantial improvement (+3 BLEU points). We also find that training a neural system with a small Arabic-English corpus is competitive to a traditional phrase-based system.

연구 동기 및 목표

• 기존 어휘 기반 SMT 시스템을 능가하는 종량성이고 종단 간(end-to-end)인 아랍어-영어 신경 기계 번역을 위한 강력한 조리법을 개발하는 것.
• 특수화된 아랍어 스크립트 전처리(정규화 및 토큰화 포함)가 NMT 및 SMT 시스템 성능에 미치는 영향을 조사하는 것.
• UN, Ummah, ISI 및 기타 다양한 병렬 코퍼스가 고성능 번역 모델을 훈련시키는 데 얼마나 효과적인지 평가하는 것.
• Ummah와 같은 소규모 고품질 데이터셋이 미세조정을 통해 NMT 성능을 크게 향상시킬 수 있는지 확인하는 것.
• 저자원 및 고자원 환경에서 NMT와 어휘 기반 SMT의 확장성 및 효율성 비교

제안 방법

• 장기적 의존성을 모델링하기 위해 양방향 LSTM과 어텐션 메커니즘을 사용한 인코더-디코더 아키텍처를 갖춘 순차적-순차적 NMT 아키텍처를 사용했다.
• 외부 어휘 단어를 처리하고 개방형 어휘 번역을 가능하게 하기 위해 90,000개의 공동 어휘 크기를 가진 바이트 쌍 인코딩(BPE)을 적용했다.
• 속도와 메모리 효율성을 높이기 위해 C++ 기반 최적화를 활용한 효율적인 훈련 및 추론을 위해 Marian NMT 툴킷을 사용했다.
• Farasa를 통해 ATB 체계를 활용한 아랍어 전처리(정규화 및 토큰화 포함)를 적용하여 모델의 일반화 능력 향상과 모호성 감소를 도모했다.
• 모든 데이터에 대해 훈련된 대규모 NMT 모델을 소규모 고품질 코퍼스(Ummah)를 사용해 미세조정하여 재학습 없이도 성능 향상을 이룬다.
• 최고의 다섯 개 NMT 모델을 앙상블하여 더 높은 견고성과 BLEU 점수를 확보했다.

실험 결과

연구 질문

• RQ1 아랍어 전처리(정규화 및 토큰화)는 아랍어-영어 번역에서 NMT 및 어휘 기반 SMT 시스템의 성능에 어떤 영향을 미치는가?
• RQ2 Ummah와 같은 소규모 고품질 코퍼스로 훈련한 NMT 모델이 더 큰 노이즈가 많은 코퍼스로 훈련한 경우에 비해 번역 품질 향상 정도는 어느 정도인가?
• RQ3 소규모 아랍어-영어 코퍼스로 훈련된 신경 기계 번역 시스템이 어휘 기반 SMT 시스템과 비교해 성능이 유사하거나 뛰어나게 달성할 수 있는가?
• RQ4 뉴스 도메인 외의 코퍼스인 UN 병렬 코퍼스를 포함함으로써 아랍어-영어 번역 시스템의 번역 품질 향상이 측정 가능한가?
• RQ5 특히 고품질의 도메인 특화 데이터를 활용한 적응을 통해 모델 앙상블 및 미세조정이 NMT 성능에 미치는 영향은 무엇인가?

주요 결과

• 아랍어 전처리가 NMT 및 SMT 시스템의 번역 품질 향상에 상당한 기여를 하며, 일부 설정에서는 최대 +8.5 BLEU 포인트의 향상을 기록했다.
• 최고의 NMT 시스템은 NIST MT 2012 테스트 세트에서 동등한 어휘 기반 SMT 시스템보다 +13 BLEU 포인트 높은 성능을 기록하여 NMT의 열등성을 입증했다.
• 모든 데이터에 대해 훈련된 모델을 Ummah 코퍼스만으로 미세조정한 결과 +3 BLEU 포인트의 성능 향상이 있었으며, 이는 고품질의 도메인 특화 데이터가 적응에 매우 효과적임을 시사한다.
• Ummah 코퍼스의 경우 단 230만 개의 아랍어-영어 단어 쌍만으로도 어휘 기반 시스템을 능가하는 성능을 기록했으며, 저자원 환경에서도 뛰어난 성능을 보였다.
• 다섯 개 최고의 NMT 모델을 앙상블한 결과 +1.5 BLEU 포인트의 추가 향상이 있었으며, 최종적으로 NIST MT 2005에서 62.98 BLEU, MT 2012에서 54.27 BLEU의 점수를 기록했다.
• 트랜스포머와 같은 고급 아키텍처를 탐색했지만 성능 향상이 관찰되지 않았으며, 공동 어휘 크기를 늘려도 결과 향상이 없었다.