[논문 리뷰] Pre-Translation for Neural Machine Translation

Jan Niehues, Eunah Cho외 2명|arXiv (Cornell University)|2016. 10. 17.

Natural Language Processing Techniques참고 문헌 21인용 수 67

한 줄 요약

이 논문은 신경 기계 번역(NMT)을 위한 사전 번역(Pre-Translation, PreMT)을 제안한다. 사전 번역은 어절 기반 기계 번역(PBMT) 시스템이 먼저 원본 입력을 대상 언어로 번역한 후, NMT 모델이 원본 소스와 PBMT 출력을 모두 입력으로 사용하여 최종 번역을 생성하는 방식이다. 이 방법은 기준 NMT 및 PBMT 시스템 대비 번역 품질을 최대 2 BLEU 포인트 향상시키며, 특히 희귀어 및 형태소적으로 복잡한 어휘에서 유의미한 성능 향상을 보인다.

ABSTRACT

Recently, the development of neural machine translation (NMT) has significantly improved the translation quality of automatic machine translation. While most sentences are more accurate and fluent than translations by statistical machine translation (SMT)-based systems, in some cases, the NMT system produces translations that have a completely different meaning. This is especially the case when rare words occur. When using statistical machine translation, it has already been shown that significant gains can be achieved by simplifying the input in a preprocessing step. A commonly used example is the pre-reordering approach. In this work, we used phrase-based machine translation to pre-translate the input into the target language. Then a neural machine translation system generates the final hypothesis using the pre-translation. Thereby, we use either only the output of the phrase-based machine translation (PBMT) system or a combination of the PBMT output and the source sentence. We evaluate the technique on the English to German translation task. Using this approach we are able to outperform the PBMT system as well as the baseline neural MT system by up to 2 BLEU points. We analyzed the influence of the quality of the initial system on the final result.

연구 동기 및 목표

• 희귀어나 어휘에 없는 단어(예: 'goalie'가 독일어에서 'Gott'(하나님)로 잘못 번역되는 것처럼)에 대해 NMT 시스템이 잘못된 번역을 내는 문제를 해결하기 위해.
• 희귀어 처리 능력이 뛰어난 어절 기반 MT의 장점을 살리면서도, 신경 기계 번역의 유창성과 문법 정확성을 유지하기 위해.
• PBMT의 출력과 원본 소스를 NMT 모델의 입력으로 조합하여 전체 번역 품질을 향상시키기 위해.
• BPE 서브워드 토큰화가 의미적 통일성을 해칠 수 있는 상황에서, PBMT를 통한 사전 번역이 NMT 성능을 향상시킬 수 있는지 탐구하기 위해.

제안 방법

• 어절 기반 기계 번역(PBMT) 시스템을 사용하여 원본 문장을 대상 언어로 사전 번역하여 초벌 번역을 생성한다.
• NMT 모델은 원본 소스 문장과 PBMT 사전 번역을 연결한 입력 시퀀스에 조건화되어 작동한다.
• NMT 모델은 원본 소스와 사전 번역을 모두 사용하여 최종 번역을 생성함으로써, 희귀어에 대해 형태적으로 그대로 유지된 대상어의 표현을 접근할 수 있다.
• NMT 모델의 어텐션 메커니즘을 분석하여, 희귀어나 서브워드 토큰화된 단어에 대해 사전 번역 입력에 더 많은 주의를 기울인다는 것을 보여준다.
• NMT에서 어휘 크기를 제한하기 위해 바이트 페어 인코딩(BPE)을 사용하지만, 사전 번역을 의미적 기반으로 제공함으로써 그 부정적 영향을 완화한다.
• 이 방법은 BLEU 점수 비교를 통해 PBMT, NMT, 앙상블 시스템과의 비교를 영어-독일어 번역 작업에서 평가한다.

실험 결과

연구 질문

• RQ1 어절 기반 기계 번역 시스템을 활용한 사전 번역이, 특히 희귀어나 어휘에 없는 단어에 대해 신경 기계 번역 시스템의 번역 품질을 향상시킬 수 있는가?
• RQ2 원본 소스 문장과 PBMT 사전 번역을 조합하여 입력으로 제공할 경우, NMT 모델의 정확하고 자연스러운 번역 생성 능력은 어떻게 영향을 받는가?
• RQ3 PBMT 사전 번역의 품질이 PreMT 시스템의 최종 성능에 어느 정도 영향을 미치는가?
• RQ4 PreMT 접근 방식이 독립적으로 작동하는 PBMT 및 NMT 시스템보다 BLEU 점수와 희귀어 오류 감소 측면에서 뛰어나게 성능을 발휘하는가?

주요 결과

• PreMT 시스템은 영어-독일어 번역 작업에서 기준 NMT 및 PBMT 시스템보다 최대 2 BLEU 포인트 높은 성능을 기록한다.
• 앙성 모델을 사용할 경우 PreMT 시스템은 NMT 기준보다 1.8 BLEU 포인트 향상된 성능을 달성한다.
• 희귀어인 'goalie'와 'parried'와 같은 단어에서 NMT 시스템은 자주 잘못된 번역(예: 'Torwart'에 대해 'Gott')을 내놓지만, PreMT는 정확하게 번역한다.
• NMT 모델의 어텐션 메커니즘은 서브워드 토큰화된 또는 희귀어에 대해 사전 번역 입력에 더 많은 주의를 기울이는 경향을 보이며, 이는 사전 번역이 의미적 안내로 효과적으로 활용되고 있음을 시사한다.
• PBMT 시스템 자체는 희귀어 처리에서 NMT보다 더 나은 성능을 보이지만, PreMT는 PBMT의 어휘 정확성과 NMT의 유창성을 융합함으로써 양자를 모두 초월한다.
• 이 방법은 PBMT 품질에 대해 강건하다: 중간 수준의 품질을 가진 PBMT 시스템이라도 PreMT는 여전히 NMT 기준보다 성능 향상을 이룬다.