[论文解读] Cache-based Document-level Neural Machine Translation.

Shaohui Kuang, Deyi Xiong+2 more|arXiv (Cornell University)|Nov 30, 2017

Natural Language Processing Techniques参考文献 23被引用 9

一句话总结

本文提出一种基于缓存的神经机器翻译模型，通过利用先前翻译的上下文信息和文档级主题，提升了文档级翻译的连贯性。该模型引入了一个存储先前翻译词语的动态缓存和一个包含语义相关术语的主题缓存，通过门控机制将二者与NMT概率相结合，显著提升了NIST中文-英文翻译基准的表现。

ABSTRACT

Sentences in a well-formed text are connected to each other via various links to form the cohesive structure of the text. Current neural machine translation (NMT) systems translate a text in a conventional sentence-by-sentence fashion, ignoring such cross-sentence links and dependencies. This may lead to generate an incohesive and incoherent target text for a cohesive and coherent source text. In order to handle this issue, we propose a cache-based approach to document-level neural machine translation by capturing contextual information either from recently translated sentences or the entire document. Particularly, we explore two types of caches: a dynamic cache, which stores words from the best translation hypotheses of preceding sentences, and a topic cache, which maintains a set of target-side topical words that are semantically related to the document to be translated. On this basis, we build a new layer to score target words in these two caches with a cache-based neural model. Here the estimated probabilities from the cache-based neural model are combined with NMT probabilities into the final word prediction probabilities via a gating mechanism. Finally, the proposed cache-based neural model is trained jointly with a state-of-the-art neural machine translation system in an end-to-end manner. On several NIST Chinese-English translation tasks, our experiments demonstrate that the proposed cache-based model achieves substantial improvements over several state-of-the-art SMT and NMT baselines.

研究动机与目标

• 解决传统逐句NMT系统中缺乏跨句连贯性的问题。
• 通过上下文缓存建模文档中跨句子的长距离依赖关系。
• 通过结合近期翻译历史和全局文档级主题信息，提升翻译质量。
• 以端到端方式联合训练缓存机制与先进的NMT系统。

提出的方法

• 提出一种动态缓存，用于存储先前翻译句子的最佳翻译假设中的词语。
• 引入一种主题缓存，用于维护与整个文档语义相关的目标语言主题词。
• 设计一种基于缓存的神经评分层，从两个缓存中估计词的概率。
• 通过可学习的门控机制将基于缓存的概率与标准NMT概率相结合。
• 与先进的NMT系统联合进行端到端训练，以共同优化翻译质量与缓存利用效率。
• 使用注意力机制对齐源句与目标句，同时融合缓存提供的上下文信号。

实验结果

研究问题

• RQ1 缓存先前翻译的词语是否能提升文档级神经机器翻译的连贯性？
• RQ2 引入文档级主题信息是否能超越句内上下文，进一步提升翻译质量？
• RQ3 基于缓存与NMT概率的门控融合在提升翻译性能方面是否有效？
• RQ4 与NMT系统联合进行端到端训练的缓存机制是否优于独立训练？

主要发现

• 所提出的基于缓存的模型在NIST中文-英文翻译任务中，相较于最先进的SMT和NMT基线模型，取得了显著提升。
• 动态缓存与主题缓存的结合显著提升了翻译文档的连贯性与流畅性。
• 门控机制有效平衡了标准NMT概率与缓存衍生概率，提升了词预测的准确性。
• 端到端的联合训练稳定了缓存机制，并提升了整体翻译质量。
• 该模型在多个NIST测试集上均表现出一致的性能增益，表明其在多种文档类型中具有鲁棒性。
• 主题缓存的使用显著提升了对话语级特征（如代词指代消解与回指）的翻译效果。