[论文解读] Fusing Recency into Neural Machine Translation with an Inter-Sentence Gate Model

Shaohui Kuang, Deyi Xiong|arXiv (Cornell University)|Jun 12, 2018

Natural Language Processing Techniques参考文献 25被引用 17

一句话总结

本文提出了一种句间门控模型，通过共享编码器和可学习门控机制，融合前一句的上下文信息，以增强神经机器翻译。该模型提升了翻译的一致性和连贯性，在NIST中文-英文基准上实现了最高2.0 BLEU点的提升，通过建模跨句依赖关系，而无需全文档训练。

ABSTRACT

Neural machine translation (NMT) systems are usually trained on a large amount of bilingual sentence pairs and translate one sentence at a time, ignoring inter-sentence information. This may make the translation of a sentence ambiguous or even inconsistent with the translations of neighboring sentences. In order to handle this issue, we propose an inter-sentence gate model that uses the same encoder to encode two adjacent sentences and controls the amount of information flowing from the preceding sentence to the translation of the current sentence with an inter-sentence gate. In this way, our proposed model can capture the connection between sentences and fuse recency from neighboring sentences into neural machine translation. On several NIST Chinese-English translation tasks, our experiments demonstrate that the proposed inter-sentence gate model achieves substantial improvements over the baseline.

研究动机与目标

• 为解决标准NMT系统中缺乏跨句依赖建模的问题，这些系统将句子孤立处理。
• 通过捕捉句间连贯性和词汇粘连性，提升文档级别的翻译质量。
• 开发一种轻量级、可训练的机制，将前一句上下文整合到当前句翻译中，而无需全文档监督。
• 在最小化额外参数的同时，保持句子间的语义一致性。
• 证明仅使用源端句间信息即可显著提升翻译的连贯性和准确性。

提出的方法

• 使用共享的双向RNN编码器同时处理两个相邻句子，为前一句（a）和当前句（b）生成上下文向量。
• 应用句间门控机制，动态控制从前一句（a）到当前句（b）的信息流动，生成融合的上下文向量。
• 门控机制通过学习的门控函数计算a和b的加权组合，使模型能够选择性地关注相关句间依赖。
• 融合的上下文向量用于更新解码器的隐藏状态，实现上下文感知的解码。
• 模型在句子对上进行训练，其中每个句子在不同对中分别作为前一句和当前句，以最大化数据效率。
• 使用在单语语料上训练的Word2Vec嵌入（400维）来计算句级语义相似度，用于连贯性分析。

实验结果

研究问题

• RQ1 建模句间依赖是否能提升神经机器翻译的翻译质量？
• RQ2 可学习的门控机制在多大程度上能将前一句的上下文信息有效整合到当前句翻译中？
• RQ3 所提出的模型是否增强了相邻句子之间的词汇粘连性和语义一致性？
• RQ4 与标准NMT基线相比，该模型在多大程度上提升了翻译连贯性？
• RQ5 一种轻量级、仅依赖源端的机制是否能在无需全文档训练数据的情况下实现显著提升？

主要发现

• 所提出的句间门控模型在NMT基线上实现了持续且显著的改进，在NIST中文-英文翻译任务上最高提升2.0 BLEU点。
• 模型提升了句级连贯性，表现为相邻句表示之间的平均余弦相似度更高（例如，NIST05上为0.4816 vs. 0.4677）。
• 推理示例显示，该模型通过利用前一句的上下文解决了翻译歧义，例如在主题为政治时正确将'动作'翻译为'行动'。
• 模型对同义或相关术语（如'驻韩'和'驻南韩'）的翻译保持一致，避免了基线中出现的不一致现象。
• 人工参考相似度得分高于基线，且在连贯性指标上，模型性能接近人类参考水平。
• 即使未引入显式的篇章或主题建模组件，该模型仍能从语义连贯性角度有效建模句间关系。