[论文解读] Learning to Remember Translation History with a Continuous Cache

Zhaopeng Tu, Yang Liu+2 more|arXiv (Cornell University)|Nov 26, 2017

Natural Language Processing Techniques参考文献 50被引用 12

一句话总结

本文提出一种连续缓存机制，通过存储和检索先前翻译中的双语隐藏表示，以增强神经机器翻译（NMT）性能，实现对文档级上下文的动态适应。该方法在计算开销极小的前提下，通过同时利用源端和目标端历史信息，避免错误传播，显著提升了多种领域下的翻译一致性和准确性，优于强基线模型。

ABSTRACT

Existing neural machine translation (NMT) models generally translate sentences in isolation, missing the opportunity to take advantage of document-level information. In this work, we propose to augment NMT models with a very light-weight cache-like memory network, which stores recent hidden representations as translation history. The probability distribution over generated words is updated online depending on the translation history retrieved from the memory, endowing NMT models with the capability to dynamically adapt over time. Experiments on multiple domains with different topics and styles show the effectiveness of the proposed approach with negligible impact on the computational cost.

研究动机与目标

• 解决因孤立处理句子而导致的神经机器翻译中的翻译不一致性和歧义问题。
• 利用文档级上下文（尤其是目标端历史）改进翻译性能，同时避免以往方法中常见的错误传播问题。
• 设计一种轻量级、高效的内存机制，可扩展至长距离翻译历史。
• 使NMT模型能够通过实时检索和整合相关翻译历史，实现动态适应。
• 通过使用连续、鲁棒的内存结构，在多种领域和风格下提升翻译质量。

提出的方法

• 在标准NMT基础上引入一个连续键值记忆网络，用于存储先前翻译的解码器隐藏状态（值）和注意力向量（键）。
• 在每个解码步骤中，使用当前的注意力向量作为查询，通过点积相似度从缓存中检索相关历史信息。
• 将检索到的上下文向量与当前解码器状态结合，以更新目标词的概率分布。
• 在推理过程中在线存储和更新缓存，维持一个固定大小的近期翻译历史缓冲区。
• 使用连续表示而非离散的词或短语，以避免错误传播并提升鲁棒性。
• 在标准注意力机制NMT框架中集成缓存，仅需极少的架构修改和计算开销。

实验结果

研究问题

• RQ1 轻量级、连续的缓存机制是否能通过利用文档级上下文显著提升翻译一致性和准确性？
• RQ2 与仅依赖源端上下文的方法相比，引入目标端翻译历史对性能有何影响？
• RQ3 与离散短语级缓存方法相比，连续缓存能在多大程度上减少错误传播？
• RQ4 所提出的方法在不同领域、主题和翻译风格下如何扩展？
• RQ5 该连续缓存能有效学习和检索哪些类型的翻译模式（例如，词汇级、短语级）？

主要发现

• 连续缓存显著提升了在新闻、生物医学和网络文本等多种领域中的翻译性能，且在多个强基线NMT模型上均表现出一致的性能增益。
• 该方法在BLEU分数上实现了显著提升，同时计算开销可忽略不计，适用于实时部署。
• 缓存能有效学习并检索词汇级和短语级的精确匹配与模糊匹配模式，显著增强了重复术语的一致性。
• 该方法优于依赖离散缓存或仅使用源端上下文的先前方法，尤其在处理歧义和时态不一致问题上表现更优。
• 实验表明，该缓存机制在多种主题和风格下均具有鲁棒性，展现出超越窄域适应的泛化能力。
• 由于采用连续表示和高效的点积匹配机制，模型在训练和推理阶段均保持高效率，内存和计算成本极低。