[논문 리뷰] Is Neural Machine Translation Ready for Deployment? A Case Study on 30 Translation Directions

Marcin Junczys-Dowmunt, Tomasz Dwojak외 1명|arXiv (Cornell University)|2016. 10. 04.

Natural Language Processing Techniques참고 문헌 17인용 수 150

한 줄 요약

이 논문은 구문 기반 SMT, 계층형 PB-SMT, 그리고 신경망 MT(NMT)를 UN Parallel Corpus를 이용한 30개 번역 방향에서 비교하고, 효율적인 디코딩 및 배포를 위한 AmuNMT를 도입합니다.

ABSTRACT

In this paper we provide the largest published comparison of translation quality for phrase-based SMT and neural machine translation across 30 translation directions. For ten directions we also include hierarchical phrase-based MT. Experiments are performed for the recently published United Nations Parallel Corpus v1.0 and its large six-way sentence-aligned subcorpus. In the second part of the paper we investigate aspects of translation speed, introducing AmuNMT, our efficient neural machine translation decoder. We demonstrate that current neural machine translation could already be used for in-production systems when comparing words-per-second ratios.

연구 동기 및 목표

• UN Parallel Corpus v1.0에서 30개 번역 방향에 대해 신경 기계 번역이 구문 기반 SMT 및 Hiero에 비해 어떤 성능을 보이는지 평가한다.
• 생산 중 배포 측면에서의 디코딩 속도, 지연 및 효율성을 평가한다.
• 실용적 배치를 위한 효율적인 NMT 디코더로서 AmuNMT를 소개하고 평가한다.

제안 방법

• 6개 UN 언어에 걸쳐 30k 서브워드 단위(BPE)를 사용한 주의적 인코더-디코더(Nematus)로 NMT 모델을 학습한다.
• UN 6개 언어의 완전 정렬 하위말뭉치와 매 방향마다 4,000문장 개발집합 및 4,000문장 테스트집합을 사용하여 NMT를 PB-SMT 및 Hiero와 비교한다.
• 전체 30방향 매트릭스에서 BLEU를 평가하고, 영어가 포함된 쌍에 대해 Hiero와 확장된 NMT 학습(최대 2.4M 반복)으로 평가한다.
• Moses 토크나이저, 중국어 분할을 위한 Jieba, 그리고 BPE 분할을 포함한 전처리를 사용한다; 대규모 어휘 문제를 완화하기 위해 서브워드 단위를 적용한다.
• 다중 GPU/CPU 지원, 어휘 선택 및 서브워드 통합을 갖춘 효율적인 C++ 빔탐색 디코더인 AmuNMT를 개발하고 평가한다.

실험 결과

연구 질문

• RQ1 대규모 도메인 내 설정에서 NMT가 30개 UN 번역 방향 전부에서 PB-SMT와 경쟁력 있거나 우수한가?
• RQ2 특히 중국어 및 아랍어가 포함된 언어쌍에서 NMT가 PB-SMT에 비해 얻는 BLEU 이득은 무엇인가?
• RQ3 Hiero가 PB-SMT에 비해 추가 이득을 제공하는가, 그리고 확장된 NMT 학습이 성능에 어떤 영향을 미치는가?
• RQ4 AmuNMT가 Moses 및 Nematus와 비교하여 생산 준비가 된 디코딩 속도와 지연을 제공할 수 있는가?

주요 결과

• NMT는 30개 방향 모두에서 PB-SMT와 동등하거나 우수하며, 중국어가 포함된 방향 및 아랍어 방향에서 상당한 BLEU 이득이 있다.
• 언어쌍에 중국어가 포함될 때 NMT가 PB-SMT 대비 7–9 BLEU 포인트의 개선을 제공합니다.
• Hiero는 Chinese-English에서 PB-SMT를 상회하지만 NMT의 개선 수준에는 미치지 못한다; 확장된 NMT 학습(최대 2M 반복)은 일부 쌍에서 추가 이득(0.3–1.3 BLEU)을 가져온다.
• AmuNMT는 특히 GPU에서 경쟁력 있거나 우수한 디코딩 속도를 제공하며, 단일 GPU 및 어휘 선택으로 865–1,192 단어/초를 달성할 수 있다; 문장 단위 번역 시 대기 시간을 크게 줄인다.
• 최근 네 개 체크포인트 앙상블의 평균은 BLEU를 최대 약 2점까지 올리고, 여덟 개 체크포인트를 평균화하는 경우 일부 설정에서 유사한 성능을 보인다.
• CPU 전용 AmuNMT 및 단일 GPU 구성이 배포 옵션으로 실현 가능하며, AmuNMT는 10초 이내에 시작하고 CPU 기반 번역은 특정 처리량 시나리오에서 생산에 가능하다.