[논문 리뷰] Neural Machine Translation with Word Predictions

Rongxiang Weng, Shujian Huang외 3명|arXiv (Cornell University)|2017. 08. 05.

Natural Language Processing Techniques참고 문헌 18인용 수 11

한 줄 요약

이 논문은 신경 기계 번역(NMT) 모델의 은닉 상태를 직접적으로 감독하기 위한 단어 예측 메커니즘을 제안하며, 추가 데이터 없이 표현 학습을 향상시킨다. 인코더와 디코더의 은닉 상태를 대상 단어를 예측하도록 훈련시킴으로써 번역 품질을 햖저하고(중국어-영어에서 BLEU 점수 4.53점 향상, 독일어-영어에서 1.3점 향상), 어휘 감소를 통해 디코딩 효율성을 높인다.

ABSTRACT

In the encoder-decoder architecture for neural machine translation (NMT), the hidden states of the recurrent structures in the encoder and decoder carry the crucial information about the sentence.These vectors are generated by parameters which are updated by back-propagation of translation errors through time. We argue that propagating errors through the end-to-end recurrent structures are not a direct way of control the hidden vectors. In this paper, we propose to use word predictions as a mechanism for direct supervision. More specifically, we require these vectors to be able to predict the vocabulary in target sentence. Our simple mechanism ensures better representations in the encoder and decoder without using any extra data or annotation. It is also helpful in reducing the target side vocabulary and improving the decoding efficiency. Experiments on Chinese-English and German-English machine translation tasks show BLEU improvements by 4.53 and 1.3, respectively

연구 동기 및 목표

• 엔드 투 엔드 NMT에서 은닉 상태에 대한 직접적 감독의 부족으로 인해 불안정하고 최적화되지 않은 표현이 발생할 수 있다는 문제를 해결하기 위해.
• 단어 예측 목표를 도입함으로써 인코더와 디코더의 문장 표현 품질을 향상시키기 위해.
• 단어 예측기로 타겟 어휘 크기를 줄여 디코딩 효율성을 높이기 위해.
• 추가 애너테이션, 데이터, 또는 모델이 필요 없는 훈련 시기 메커니즘을 제공하기 위해.

제안 방법

• 디코더의 초기 은닉 상태를 타겟 문장의 모든 단어를 예측하도록 훈련시켜 인코더 출력에 대한 직접적 감독을 제공한다.
• 이 메커니즘을 디코더의 모든 은닉 상태로 확장하여 상태 간 전이를 제어할 수 있도록 한다.
• 디코더의 은닉 상태에 단어 예측 헤드를 추가하고, 타겟 어휘 기반으로 교차 엔트로피 손실을 계산한다.
• 이 방법은 훈련 기간 동안만 적용되며 추론 비용을 추가하지 않아 배포에 매우 효율적이다.
• 디코딩 중에 단어 예측기가 타겟 어휘를 필터링하는 데 사용되어 검색 공간을 줄이고 속도를 향상시킨다.
• 이 방법은 양방향 RNN 기반 표준 어텐션 기반 NMT에 통합되며, 아키텍처 변경이 필요하지 않다.

실험 결과

연구 질문

• RQ1 단어 예측을 통한 은닉 상태의 직접적 감독이 NMT 성능을 향상시킬 수 있는가?
• RQ2 초기 상태를 타겟 단어를 예측하도록 훈련시키면 더 나은 문장 표현이 도출되는가?
• RQ3 단어 예측 메커니즘이 번역 품질에 해를 끼치지 않고 타겟 어휘 크기를 줄일 수 있는가?
• RQ4 이 방법은 번역 정확도를 유지하거나 향상시키면서도 디코딩 효율성을 높이는가?
• RQ5 이 단어 예측 메커니즘은 다양한 언어 조합에서 효과적이며 추가 데이터 없이도 성능을 발휘하는가?

주요 결과

• 제안된 단어 예측 메커니즘은 중국어-영어 번역 작업에서 BLEU 점수를 4.53점 향상시켰다.
• 이 방법은 독일어-영어 번역 작업에서 1.3 BLEU 점수 향상을 달성했다.
• 단어 예측기는 타겟 어휘 크기를 효과적으로 줄여서 디코딩 속도 향상에 기여한다.
• 이 방법은 'advertising'과 같은 핵심 용어나 'time warner inc.'와 같은 고유명사와 같이 기본 모델에서 자주 누락되는 단어의 번역 오류를 줄였다.
• 더 큰 어휘를 사용하지 않더라도 드롭아웃 및 앙상블 방법보다 번역 품질 향상에서 뛰어난 성능을 보였다.
• 추가 애너테이션, 어휘 일치, 외부 데이터 없이도 이 단어 예측 메커니즘이 효과가 있다.