[논문 리뷰] A Coverage Embedding Model for Neural Machine Translation.

Haitao Mi, Baskaran Sankaran외 2명|arXiv (Cornell University)|2016. 05. 10.

Natural Language Processing Techniques참고 문헌 18인용 수 23

한 줄 요약

이 논문은 반복 및 생략을 줄이기 위해 게이트형 순환 단위를 통해 동적으로 커버리지 벡터를 업데이트하는 커버리지 임베딩 모델을 제안한다. 이 방법은 엔드 투 엔드로 커버리지 임베딩을 학습하여 대규모 중국어-영어 번역 작업에서 번역 품질을 향상시키며, 강력한 베이스라인 시스템을 능가한다.

ABSTRACT

In this paper, we enhance the attention-based neural machine translation by adding an explicit coverage embedding model to alleviate issues of repeating and dropping translations in NMT. For each source word, our model starts with a full coverage embedding vector, and then keeps updating it with a gated recurrent unit as the translation goes. All the initialized coverage embeddings and updating matrix are learned in the training procedure. Experiments on the large-scale Chineseto-English task show that our enhanced model improves the translation quality significantly on various test sets over the strong large vocabulary NMT system.

연구 동기 및 목표

• 주의 기반 신경 기계 번역에서 반복 및 생략 번역 문제를 해결하기 위해.
• 학습 중에 커버리지 임베딩을 학습하여 소스 단어의 커버리지 모델링을 더 명시적으로 하기 위해.
• 대규모 신경 기계 번역 작업에서 번역 품질을 향상시키기 위해.
• 디코딩 중에 진화하는 가역적이고 학습 가능한 커버리지 메커니즘을 통합하기 위해.

제안 방법

• 각 소스 단어는 시간이 지남에 따라 업데이트되는 완전한 커버리지 임베딩 벡터로 초기화된다.
• 번역이 진행됨에 따라 게이트형 순환 단위(GRU)를 사용하여 커버리지 임베딩을 반복적으로 업데이트한다.
• 초기 커버리지 임베딩과 GRU 업데이트 행렬은 학습 도중 함께 학습된다.
• 모델은 커버리지 정보를 주의 메커니즘에 통합하여 정렬을 안내하고 부정확성을 줄인다.
• 각 소스 단어마다 커버리지 임베딩이 업데이트되고, 주의 분포를 조정하는 데 사용된다.

실험 결과

연구 질문

• RQ1 명시적인 커버리지 모델링이 NMT에서 번역 반복과 생략을 줄일 수 있는가?
• RQ2 고정되거나 히우리스틱 기반 커버리지와 비교할 때, 학습 가능한 순환 커버리지 메커니즘은 어떻게 성능을 내는가?
• RQ3 커버리지 임베딩의 통합이 대규모 번역 작업에서 성능 향상에 기여하는가?
• RQ4 GRU 기반 업데이트 메커니즘이 디코딩 중 커버리지 추적에 얼마나 기여하는가?

주요 결과

• 제안된 모델은 대규모 중국어-영어 번역 작업에서 여러 테스트 세트에서 번역 품질을 크게 향상시켰다.
• 대규모 어휘를 가진 강력한 베이스라인 NMT 시스템을 능가하는 성능을 보였다.
• 커버리지 임베딩 메커니즘이 반복 및 생략 번역을 효과적으로 줄였다.
• 커버리지 임베딩과 업데이트 행렬의 엔드 투 엔드 학습이 더 나은 정렬과 일반화를 이끌었다.