[论文解读] Document-level Neural Machine Translation with Inter-Sentence Attention.

Shu Jiang, Rui Wang+6 more|arXiv (Cornell University)|Oct 31, 2019

Natural Language Processing Techniques参考文献 25被引用 8

一句话总结

该论文提出了一种带有记忆网络的注意力增强型Transformer神经机器翻译（NMT）模型，可动态选择最相关的文档级上下文用于翻译。通过将句间注意力与基于记忆的相关性过滤相结合，该方法在多个任务上显著提升了强基线Transformer模型的翻译质量。

ABSTRACT

Standard neural machine translation (NMT) is on the assumption of document-level context independent. Most existing document-level NMT methods only focus on briefly introducing document-level information but fail to concern about selecting the most related part inside document context. The capacity of memory network for detecting the most relevant part of the current sentence from the memory provides a natural solution for the requirement of modeling document-level context by document-level NMT. In this work, we propose a Transformer NMT system with associated memory network (AMN) to both capture the document-level context and select the most salient part related to the concerned translation from the memory. Experiments on several tasks show that the proposed method significantly improves the NMT performance over strong Transformer baselines and other related studies.

研究动机与目标

• 通过整合相关先前句子来解决标准NMT在处理文档级上下文方面的局限性。
• 通过有选择性地关注文档上下文中最显著的部分来提升翻译性能。
• 克服现有文档级NMT方法在有效过滤或优先处理相关上下文方面的不足。
• 将记忆网络集成到Transformer架构中，以建模文档级翻译中的长距离依赖关系与相关性。

提出的方法

• 引入关联记忆网络（AMN），用于存储并从文档上下文中检索相关句子。
• 使用句间注意力计算当前句子与文档中所有先前句子之间的相关性得分。
• 采用记忆机制，为每个翻译步骤动态选择最相关的上下文。
• 将所选上下文整合到Transformer架构解码器的自注意力与交叉注意力机制中。
• 使用标准NMT目标端到端训练模型，利用记忆网络优化上下文表征。

实验结果

研究问题

• RQ1 通过从先前句子中选择最相关上下文，记忆增强型注意力机制是否能提升文档级NMT的性能？
• RQ2 所提出的AMN模型在翻译质量方面与标准Transformer及其他文档级NMT方法相比表现如何？
• RQ3 句间注意力在长文档翻译任务中对上下文建模的增强程度如何？
• RQ4 记忆网络的集成是否能带来在多样化文档级翻译场景下更稳健且一致的性能表现？

主要发现

• 所提方法在多个文档级翻译任务上显著优于强基线Transformer模型。
• 记忆网络能有效识别并优先选择最相关的先前句子用于翻译，从而增强上下文建模能力。
• 句间注意力的集成显著提升了长文档中源句与目标句之间的对齐效果。
• 该模型在不同语种对和不同文档长度下均表现出一致的性能提升。