[논문 리뷰] Coverage Embedding Models for Neural Machine Translation

Haitao Mi, Baskaran Sankaran외 2명|arXiv (Cornell University)|2016. 05. 10.

Natural Language Processing Techniques참고 문헌 15인용 수 35

한 줄 요약

이 논문은 주어진 소스 단어의 번역 상태를 추적하기 위해 학습 가능한 동적 임베딩 벡터를 사용하는 커버리지 임베딩 모델을 제안한다. 어텐션 가중치에 기반해 GRU 또는 뺄셈 기반 업데이트를 통해 이러한 임베딩을 갱신함으로써 번역 중 반복과 생략을 줄이고, 중국어-영어 번역에서 강력한 대규모 어휘 NMT 기준보다 최대 2.6점 향상된 BLEU 점수를 달성한다.

ABSTRACT

In this paper, we enhance the attention-based neural machine translation (NMT) by adding explicit coverage embedding models to alleviate issues of repeating and dropping translations in NMT. For each source word, our model starts with a full coverage embedding vector to track the coverage status, and then keeps updating it with neural networks as the translation goes. Experiments on the large-scale Chinese-to-English task show that our enhanced model improves the translation quality significantly on various test sets over the strong large vocabulary NMT system.

연구 동기 및 목표

• 어텐션 기반 신경 기계 번역(NMT)에서 커버리지 추적 부족으로 인한 번역 반복 및 생략 문제를 해결한다.
• 伝통적인 통계 기계 번역(SMT) 커버리지 벡터의 한계를 극복하기 위해 SMT의 커버리지 벡터를 NMT의 소프트 어텐션 기반 구조에 적응시킨다.
• 이중 플래그가 아닌, 각 소스 단어마다 고유하고 학습 가능한 벡터를 유지하는 새로운 커버리지 임베딩 메커니즘을 도입한다.
• 어 attention 메커니즘에 커버리지 임베딩을 통합하여 대규모 중국어-영어 번역 작업에서 번역 품질을 향상시킨다.
• 커버리지 임베딩이 NMT 시스템에서 어휘 반복을 줄이고 정렬 정확도를 향상시킨다.

제안 방법

• 번역 시작 시 각 소스 단어에 대해 완전히 초기화된 커버리지 임베딩 벡터를 할당하며, SMT의 이진 커버리지 벡터와는 다릅니다.
• 각 번역 단계에서 어텐션 가중치에 기반해 Gated Recurrent Unit(GRU) 또는 직접적인 벡터 뺄셈을 사용해 각 소스 단어의 커버리지 임베딩을 갱신합니다.
• 각 소스 단어의 커버리지 임베딩을 어텐션 스코어 함수에 추가 입력으로 통합하여 어텐션 에너지 계산을 수정합니다.
• 커버리지 상태의 변화를 모델링하기 위해 GRU 기반 업데이트 메커니즘을 사용하여 어텐션 패tern에 따라 커버리지 조정 방법을 학습할 수 있도록 합니다.
• 고도의 어텐션을 받은 소스 단어의 경우 커버리지 임베딩을 감소시키는 뺄셈 기반 업데이트 규칙을 적용하여 번역 완료를 시뮬레이션합니다.
• GRU 및 뺄셈 구성 요소에 대해 별도의 하이퍼파rameter를 가진 보조 목적 함수를 +Obj. 버전에 통합하여 커버리지 학습을 추가로 정규화합니다.

실험 결과

연구 질문

• RQ1 학습 가능한 연속형 커버리지 임베딩이 어텐션 기반 NMT에서 번역 반복 및 생략을 효과적으로 줄일 수 있는가?
• RQ2 GRU 기반과 뺄셈 기반 커버리지 업데이트 간의 선택이 번역 품질과 정렬 정확도에 어떤 영향을 미치는가?
• RQ3 기본 NMT 시스템에 비해 커버리지 임베딩이 정렬 F1 점수를 얼마나 향상시키는가?
• RQ4 커버리지 임베딩 통합이 대규모 중국어-영어 번역 작업에서 통계적으로 유의미한 BLEU 점수 향상으로 이어지는가?
• RQ5 훈련 데이터 크기가 증가함에 따라 커버리지 임베딩이 NMT의 반복 문제를 완화하는 데 기여하는가?

주요 결과

• U GRU 버전은 500만 훈련 데이터셋에서 대규모 어휘 NMT(LVNMT) 기준보다 (Ter-BLEU)/2 평균 점수를 1.3점 향상시켰다.
• U GRU + U Sub 조합 모델은 (Ter-BLEU)/2 평균 점수 13.14를 기록하여 LVNMT 대비 2.6점 향상된 최고 성능을 달성했다.
• 1100만 훈련 데이터셋에서는 U GRU 모델이 LVNMT 대비 (Ter-BLEU)/2에서 거의 1점의 성능 향상을 기록하여 더 강력한 기준 기반에서도 효과를 입증했다.
• U GRU + U Sub 모델은 수동 정렬 테스트 세트에서 정렬 F1 점수를 LVNMT 대비 2.2점 향상시켜 46.47에 도달했다.
• MT06 테스트 세트에서 반복 어휘(≥4단어) 수는 LVNMT의 209개에서 U GRU + U Sub 모델에서는 50개로 감소하여 반복 감소 효과가 뚜렷했다.
• +Obj. 버전은 MT06에서 어휘 반복 횟수를 47건으로 추가로 감소시켜 추가 정규화가 커버리지 학습을 향상시킨다는 것을 보여주었다.