[논문 리뷰] A Comparison of Transformer and Recurrent Neural Networks on Multilingual Neural Machine Translation

Surafel M. Lakew, Mauro Cettolo외 1명|arXiv (Cornell University)|2018. 06. 18.

Natural Language Processing Techniques참고 문헌 27인용 수 63

한 줄 요약

이 논문은 Transformer와 Recurrent NMT 아키텍처를 양방언, 다중 언어, 제로샷 다중 언어 설정에서 정량적으로 비교하고, 사후 편집과 상세 오류 분류를 사용하여 관련 언어 대비 비관련 언어 쌍을 분석합니다.

ABSTRACT

Recently, neural machine translation (NMT) has been extended to multilinguality, that is to handle more than one translation direction with a single system. Multilingual NMT showed competitive performance against pure bilingual systems. Notably, in low-resource settings, it proved to work effectively and efficiently, thanks to shared representation space that is forced across languages and induces a sort of transfer-learning. Furthermore, multilingual NMT enables so-called zero-shot inference across language pairs never seen at training time. Despite the increasing interest in this framework, an in-depth analysis of what a multilingual NMT model is capable of and what it is not is still missing. Motivated by this, our work (i) provides a quantitative and comparative analysis of the translations produced by bilingual, multilingual and zero-shot systems; (ii) investigates the translation quality of two of the currently dominant neural architectures in MT, which are the Recurrent and the Transformer ones; and (iii) quantitatively explores how the closeness between languages influences the zero-shot translation. Our analysis leverages multiple professional post-edits of automatic translations by several different systems and focuses both on automatic standard metrics (BLEU and TER) and on widely used error categories, which are lexical, morphology, and word order errors.

연구 동기 및 목표

• 양방언, 다중 언어 MT 시스템 간 번역 품질 차이를 평가한다.
• 다중 언어 MT 설정에서 Recurrent 대 Transformer 아키텍처를 평가한다.
• 제로샷 번역 성능에 있어 관련 언어 데이터의 영향을 조사한다.
• 아키텍처 및 언어 관계 간 어휘, 형태소, 어순 오류 패턴을 분석한다.

제안 방법

• Recurrent(LSTM)와 Transformer 아키텍처를 사용하여 양방언(NMT), 다중 언어(M-NMT), 제로샷(ZST) MT 설정을 구현한다.
• 다중 언어 모델용으로 공유 BPE(8,000 병합 규칙)와 언어 플래그 토큰으로 7개 언어를 전처리한다.
• 저자원 조건에 맞춘 하이퍼파라미터로 모델을 학습하고 RNN에는 OpenNMT-py, Transformer에는 Tensor2Tensor를 사용한다.
• BLEU와 TER를 공식 테스트 참조와 함께 평가하고, 다섯으로 구성된 mTER 및 lmmTER를 9개의 전문 사후 편집으로 계산한다.
• 출력에 대해 어휘 형태소 POS 태깅을 수행하여 어휘, 형태소, 재배치를 분류하는 섬세한 오류 분석을 수행한다.

실험 결과

연구 질문

• RQ1 양방언, 다중 언어, 제로샷 시스템이 전체 번역 품질 및 특정 오류 유형에서 어떻게 비교되는가?
• RQ2 Recurrent와 Transformer 아키텍처가 작업 간 번역 품질에서 어떻게 다른가?
• RQ3 관련 언어 데이터를 포함하는 것이 제로샷 번역 성능에 어떤 영향을 미치는가?
• RQ4 관련 언어 데이터가 Transformer 혹은 Recurrent 모델 중 어느 쪽의 제로샷 번역 향상을 더 많이 가져오는가?

주요 결과

• Transformer는 양방언, 다중 언어, 제로샷 설정 전반에서 Recurrent보다 일관되게 높은 BLEU와 낮은 TER를 달성하며, 다중 언어 및 제로샷 케이스에서 통계적으로 유의한 이점을 보인다.
• 다중 언어 모델(M-NMT)은 일부 경우에 양방언 NMT를 능가하며, 더 넓은 언어 노출로 인해 mTER와 lmmTER 측면에서 강건한 성능을 보인다.
• 제로샷 번역은 특히 Transformer 아키텍처에서 실행 가능하며, 특정 제로샷 구성에서 심지어 양방언 Baseline을 능가할 수 있다.
• 관련 언어 방향에서 추가 관련 언어를 포함하면 제로샷 성능이 개선되며(ZST_B), Transformer 제로샷 모델은 어휘 오류 감소에 두드러진 효과를 보인다.
• 오류 분석은 어휘 오류가 지배적이며 형태소와 재배치가 더 작은 비율에 기여한다는 것을 보여주며, Transformer 기반 ZST 모델은 양방언 Baseline에 비해 의미 있는 오류 감소를 달성한다.