[논문 리뷰] Cache-based Document-level Neural Machine Translation.

Shaohui Kuang, Deyi Xiong외 2명|arXiv (Cornell University)|2017. 11. 30.

Natural Language Processing Techniques참고 문헌 23인용 수 9

한 줄 요약

이 논문은 이전 번역과 문서 수준의 주제로부터 얻은 문맥 정보를 활용하여 문서 수준의 일관성을 향상시키기 위해 캐시 기반 신경 기계 번역 모델을 제안한다. 이는 이전에 번역된 단어의 동적 캐시와 의미적으로 관련된 용어들의 주제 캐시를 도입하며, NMT 확률과 게이팅 메커니즘을 통해 통합하여 NIST 중국어-영어 번역 벤치마크에서 뚜렷한 성능 향상을 이룬다.

ABSTRACT

Sentences in a well-formed text are connected to each other via various links to form the cohesive structure of the text. Current neural machine translation (NMT) systems translate a text in a conventional sentence-by-sentence fashion, ignoring such cross-sentence links and dependencies. This may lead to generate an incohesive and incoherent target text for a cohesive and coherent source text. In order to handle this issue, we propose a cache-based approach to document-level neural machine translation by capturing contextual information either from recently translated sentences or the entire document. Particularly, we explore two types of caches: a dynamic cache, which stores words from the best translation hypotheses of preceding sentences, and a topic cache, which maintains a set of target-side topical words that are semantically related to the document to be translated. On this basis, we build a new layer to score target words in these two caches with a cache-based neural model. Here the estimated probabilities from the cache-based neural model are combined with NMT probabilities into the final word prediction probabilities via a gating mechanism. Finally, the proposed cache-based neural model is trained jointly with a state-of-the-art neural machine translation system in an end-to-end manner. On several NIST Chinese-English translation tasks, our experiments demonstrate that the proposed cache-based model achieves substantial improvements over several state-of-the-art SMT and NMT baselines.

연구 동기 및 목표

• 기존 문장별로 번역하는 NMT 시스템에서의 문장 간 일관성 부족 문제를 해결하기 위해.
• 문맥 캐싱을 통해 문서 내 문장 간 장거리 의존성을 모델링하기 위해.
• 최근 번역 이력과 전반적인 문서 수준의 주제를 모두 통합하여 번역 품질을 향상시키기 위해.
• 최신 NMT 시스템과 함께 캐시 기반 메커니즘을 종단 간(end-to-end) 방식으로 공동으로 훈련하기 위해.

제안 방법

• 이전에 번역된 문장들의 최상의 번역 가설에서 유도된 단어를 저장하는 동적 캐시를 제안한다.
• 전체 문서와 의미적으로 관련된 타겟 측 주제어어를 유지하는 주제 캐시를 도입한다.
• 두 캐시에서 유도된 확률을 추정하기 위한 캐시 기반 신경 점수 계산 레이어를 설계한다.
• 캐시 기반 확률과 표준 NMT 확률을 학습 가능한 게이팅 메커니즘을 통해 통합한다.
• 표준 NMT 시스템과 함께 전체 모델을 종단 간 방식으로 훈련하여 번역과 캐시 활용을 공동 최적화한다.
• 주의 메커니즘을 사용하여 원천 문장과 타겟 문장을 정렬하면서 캐시된 문맥 신호를 통합한다.

실험 결과

연구 질문

• RQ1 이전에 번역된 단어를 캐시하는 것이 문서 수준의 신경 기계 번역에서 일관성을 향상시키는가?
• RQ2 문서 수준의 주제 정보를 통합하면 문장 수준의 문맥을 넘어서 번역 품질을 향상시킬 수 있는가?
• RQ3 캐시 기반 확률과 NMT 확률의 게이팅 융합이 번역 성능 향상에 얼마나 효과적인가?
• RQ4 NMT와 함께 캐시 기반 메커니즘을 종단 간 공동으로 훈련하면 별도 훈련보다 더 나은 성능을 낼 수 있는가?

주요 결과

• 제안된 캐시 기반 모델은 NIST 중국어-영어 번역 작업에서 최신 SMT 및 NMT 기준 모델보다 뚜렷한 성능 향상을 이룬다.
• 동적 캐시와 주제 캐시를 모두 통합함으로써 번역된 문서의 일관성과 유창성이 향상된다.
• 게이팅 메커니즘이 표준 NMT 확률과 캐시 기반 확률을 효과적으로 균형 잡아 단어 예측 정확도를 향상시킨다.
• 종단 간 공동 훈련이 캐시 기반 메커니즘을 안정화시키고 전체 번역 품질을 향상시킨다.
• 여러 NIST 테스트 세트에서 일관된 성능 향상을 보이며 다양한 문서 유형에 걸쳐 강건함을 입증한다.
• 주제 캐시의 사용이 의사소통 수준의 특징(예: 대명사 해석 및 언어적 연결) 번역 향상에 뚜렷한 기여를 한다.