[论文解读] Learning Efficient Lexically-Constrained Neural Machine Translation with External Memory

Ya Li, Xinyu Liu+3 more|arXiv (Cornell University)|Jan 31, 2019

Natural Language Processing Techniques参考文献 18被引用 4

一句话总结

本文提出了一种基于记忆增强的神经机器翻译模型，通过外部记忆学习词汇约束翻译，避免了传统束搜索带来的高计算成本和解码不灵活的问题。通过使用记忆注意力机制和Softmax损失来引导注意力聚焦于相关约束槽，该方法实现了高效、流畅且灵活的约束翻译，在中英和英德翻译任务中均取得了更高的BLEU分数。

ABSTRACT

Recent years has witnessed dramatic progress of neural machine translation (NMT), however, the method of manually guiding the translation procedure remains to be better explored. Previous works proposed to handle such problem through lexcially-constrained beam search in the decoding phase. Unfortunately, these lexically-constrained beam search methods suffer two fatal disadvantages: high computational complexity and hard beam search which generates unexpected translations. In this paper, we propose to learn the ability of lexically-constrained translation with external memory, which can overcome the above mentioned disadvantages. For the training process, automatically extracted phrase pairs are extracted from alignment and sentence parsing, then further be encoded into an external memory. This memory is then used to provide lexically-constrained information for training through a memory-attention machanism. Various experiments are conducted on WMT Chinese to English and English to German tasks. All the results can demonstrate the effectiveness of our method.

研究动机与目标

• 解决词汇约束束搜索在神经机器翻译中的局限性，包括高计算成本和解码不灵活的问题。
• 在无需使用大束大小的情况下，实现用户指定词汇约束下的高效且流畅翻译。
• 开发一种可训练的软约束机制，通过引入外部记忆在推理过程中引导翻译。
• 利用对齐和句法分析，从双语平行语料中自动提取短语级约束，实现可扩展的训练。
• 与硬性束搜索方法相比，提升在正确和潜在错误约束下的翻译质量和鲁棒性。

提出的方法

• 使用对齐和句法解析从双语平行句中提取短语对，构建词汇约束知识库。
• 使用键和值将这些短语对编码到外部记忆中，其中键表示源短语，值表示目标翻译。
• 引入一种记忆注意力机制，使Transformer解码器在解码过程中能够关注相关记忆槽。
• 应用Softmax损失，以在训练期间强制注意力准确聚焦于正确的记忆槽，从而改善约束与目标输出之间的对齐。
• 在端到端训练中结合记忆约束引导，使用标准NMT目标函数。
• 推理时使用标准束搜索（束大小为12），即使在存在大量约束时也能实现高效解码——这与以往需要大束大小的方法形成对比。

实验结果

研究问题

• RQ1 基于记忆的NMT模型是否能够在不依赖计算成本高昂的束搜索的情况下，实现高效且有效的词汇约束翻译？
• RQ2 所提出的记忆注意力机制在保持翻译流畅性的同时，如何提升约束遵循度？
• RQ3 通过对齐和解析自动提取的短语对，在多大程度上可作为可靠约束用于训练？
• RQ4 当约束数量变化时，尤其在约束错误或模糊的情况下，模型表现如何？
• RQ5 与现有词汇约束束搜索技术相比，该方法在BLEU分数和流畅性方面是否表现更优？

主要发现

• 所提出的LCNMT模型在WMT英德翻译任务中，所有约束比例（30%、50%、70%）下均取得了最高的BLEU分数。
• 在中英翻译任务中，LCNMT的性能与DBA方法相当，但生成输出的流畅性显著提升。
• 与硬性束搜索方法不同，LCNMT即使在提供错误或冲突约束时，也能避免出现意外或不自然的翻译。
• 该模型在束大小为12的标准设置下保持高效推理，表明解码复杂度不会随约束数量增加而上升。
• 在Softmax损失引导下的记忆注意力机制，使模型能够精确关注相关约束槽，提升约束遵循度，同时不牺牲流畅性。
• 自动短语提取流程成功从平行语料中生成可用约束，实现了对新双语数据集的零样本适应。