[논문 리뷰] Modeling Coherence for Neural Machine Translation with Dynamic and Topic Caches

Shaohui Kuang, Deyi Xiong외 2명|arXiv (Cornell University)|2017. 11. 30.

Natural Language Processing Techniques참고 문헌 23인용 수 81

한 줄 요약

본 논문은 이전 번역에서 얻은 동적 캐시와 문서 주제에서 파생된 주제 캐시를 활용하여 문서 단위의 일관성을 향상시키는 NMT용 캐시 기반 신경 모델을 제시하고, 게이팅 메커니즘을 통해 캐시 확률을 NMT 디코더와 통합하며 엔드 투 엔드로 학습한다.

ABSTRACT

Sentences in a well-formed text are connected to each other via various links to form the cohesive structure of the text. Current neural machine translation (NMT) systems translate a text in a conventional sentence-by-sentence fashion, ignoring such cross-sentence links and dependencies. This may lead to generate an incoherent target text for a coherent source text. In order to handle this issue, we propose a cache-based approach to modeling coherence for neural machine translation by capturing contextual information either from recently translated sentences or the entire document. Particularly, we explore two types of caches: a dynamic cache, which stores words from the best translation hypotheses of preceding sentences, and a topic cache, which maintains a set of target-side topical words that are semantically related to the document to be translated. On this basis, we build a new layer to score target words in these two caches with a cache-based neural model. Here the estimated probabilities from the cache-based neural model are combined with NMT probabilities into the final word prediction probabilities via a gating mechanism. Finally, the proposed cache-based neural model is trained jointly with NMT system in an end-to-end manner. Experiments and analysis presented in this paper demonstrate that the proposed cache-based model achieves substantial improvements over several state-of-the-art SMT and NMT baselines.

연구 동기 및 목표

• 문장 단위를 넘어 문서 수준의 일관성 제약을 신경망 기계 번역에서 동기화한다.
• 교차 문장 및 주제 정보를 포착하기 위해 두 가지 캐시(동적 캐시와 주제 캐시)를 도입한다.
• 캐시 항목의 점수를 매기고 이를 NMT 예측과 통합하는 캐시 기반 신경 모델을 개발한다.
• 캐시 모델을 NMT 시스템과 함께 엔드-투-엔드 프레임워크로 공동 학습한다.
• SMT/NMT 기본 모델과 비교하여 NIST 중국어–영어 번역에서 효과를 입증한다.

제안 방법

• 최근에 번역된 문장에서 단어를 저장하는 동적 캐시를 정의한다(선입선출(FIFO) 제거 및 불용어 제외).
• LDA 기반 주제 투사 모델을 사용하여 소스 주제를 타깃 측 주제 단어로 투사하여 주제 캐시를 정의한다.
• 디코더 상태, 맥락 및 캐시 단어를 사용하여 캐시된 단어의 점수를 계산하는 캐시 점수화 신경망을 구현하여 p_cache(y_t|... )를 생성한다.
• 게이팅 메커니즘을 통해 캐시 확률과 표준 NMT 확률을 결합한다: p(y_t|...) = (1-α_t) p_cache(y_t|...) + α_t p_nmt(y_t|...).
• 훈련 코퍼스에서 음의 로그 가능도(NLL)를 최소화하여 전체 시스템을 엔드-투-엔드로 학습한다.
• NIST 중국어-영어 과제에서 평가하고 Moses 및 RNNSearch* baseline과 비교한다.

실험 결과

연구 질문

• RQ1 문서 전체를 아우르는 캐시를 도입함으로써 신경망 기계 번역에서 문서 수준의 일관성을 향상시킬 수 있는가?
• RQ2 동적(최근 번역) 캐시와 주제 기반 캐시가 번역 품질에 미치는 영향은 무엇인가?
• RQ3 게이팅 메커니즘이 캐시 기반 예측을 표준 NMT 예측과 효과적으로 통합하는가?
• RQ4 주제 캐시와 동적 캐시가 문서 전체의 번역 일관성과 일치성에 어떤 영향을 미치는가?

주요 결과

• 동적 캐시와 주제 캐시를 결합하면 RNNSearch* 대비 BLEU가 평균 1.60 포인트 향상되고 Moses 대비 4.83 향상이다.
• 동적 캐시와 주제 캐시를 함께 사용하면 가장 좋은 평균 BLEU 향상을 얻는다 (RNNSearch*_+Cd,Ct = 35.52 Avg).
• 게이팅 메커니즘은 중요하다; 게이트를 고정하면(α=0.3) 성능이 크게 저하된다.
• 주제 캐시는 전체 문서 주제와의 정렬로 문서 시작 부분 번역을 돕고, 동적 캐시는 문장 간 일관성을 돕는다.
• 캐시 활성화 NMT는 기준보다 더 높은 일관성을 보여준다(인접 문장의 코사인 유사도) baseline보다 0.4274 대 0.4259.
• 캐시를 사용할 때 일관된 번역 선택을 보임(예: 同一 중국어 용어에 동일한 단어).