[论文解读] Memory-augmented Neural Machine Translation

Yang Feng, Shiyue Zhang+3 more|arXiv (Cornell University)|Aug 7, 2017

Natural Language Processing Techniques参考文献 23被引用 18

一句话总结

本文提出记忆增强型神经机器翻译（M-NMT），一种混合架构，通过集成记忆模块来存储和检索罕见词的翻译，显著提升了低频词和未登录词（OOV）的翻译性能。在两个中英翻译任务上，该方法相较于基线NMT模型分别实现了+9.0和+2.7的BLEU分数提升，OOV词的召回率显著提高。

ABSTRACT

Neural machine translation (NMT) has achieved notable success in recent times, however it is also widely recognized that this approach has limitations with handling infrequent words and word pairs. This paper presents a novel memory-augmented NMT (M-NMT) architecture, which stores knowledge about how words (usually infrequently encountered ones) should be translated in a memory and then utilizes them to assist the neural model. We use this memory mechanism to combine the knowledge learned from a conventional statistical machine translation system and the rules learned by an NMT system, and also propose a solution for out-of-vocabulary (OOV) words based on this framework. Our experiments on two Chinese-English translation tasks demonstrated that the M-NMT architecture outperformed the NMT baseline by $9.0$ and $2.7$ BLEU points on the two tasks, respectively. Additionally, we found this architecture resulted in a much more effective OOV treatment compared to competitive methods.

研究动机与目标

• 解决神经机器翻译（NMT）在处理罕见词及词对时因对高频模式过拟合而导致的局限性。
• 结合统计机器翻译（SMT）的优势——对罕见短语的记忆能力——与NMT的泛化能力。
• 开发一种灵活且可扩展的框架，支持有效的未登录词（OOV）处理，且无需重新训练。
• 提升特定领域或低频术语的翻译质量，这些术语常因‘语义漂移’而被错误翻译。

提出的方法

• M-NMT模型集成一个记忆模块，用于存储源-目标词对，尤其针对罕见或OOV词。
• 每个记忆条目包含一个源词、其目标语言翻译以及相关词（如相似词或翻译邻近词），以支持泛化。
• 在解码过程中，通过可微注意力机制访问记忆，根据输入上下文检索相关条目。
• 神经网络与记忆模块联合训练，使网络学会在何时以及如何查阅记忆以获得更优翻译。
• 通过在记忆中显式存储翻译映射，系统支持词表内和OOV的目标词翻译。
• 采用占位符基线模型（NMT-PL）进行对比，其中OOV词被替换为UNK标记，并在推理后恢复。

实验结果

研究问题

• RQ1 记忆增强架构能否提升NMT在罕见词和未登录词（OOV）上的性能？
• RQ2 通过记忆模块引入符号知识后，其对神经翻译的增强效果是否超越标准NMT？
• RQ3 记忆机制是否能减少低频词翻译中的‘语义漂移’现象？
• RQ4 与现有方法相比，记忆机制在提升OOV词召回率方面达到何种程度？
• RQ5 记忆模块是否可在不重新训练神经模型的前提下被有效使用，从而保持系统的可扩展性？

主要发现

• 在一项中英翻译任务中，M-NMT模型相较于NMT基线模型实现了+9.0的BLEU分数提升。
• 在第二项中英翻译任务中，M-NMT模型相较NMT基线模型提升了+2.7的BLEU分数。
• M-NMT系统在目标词为词表内（T-INV）的OOV词中实现了28%的召回率，在目标词为OOV（T-OOV）的词中实现了40%的召回率，显著优于竞争方法。
• 记忆机制在低频词上尤为有效，最低频段的召回率显著提升。
• M-NMT+OOV变体（将OOV词存入记忆）在OOV处理方面优于NMT-PL基线和替换-恢复方法。
• 人工评估显示，M-NMT正确翻译了罕见术语‘chromosomes’，而NMT基线则出现了‘语义漂移’错误。