[论文解读] Learning to Reuse Translations: Guiding Neural Machine Translation with Examples

Qian Cao, Shaohui Kuang+1 more|arXiv (Cornell University)|Nov 25, 2019

Natural Language Processing Techniques参考文献 33被引用 4

一句话总结

本文提出示例引导神经机器翻译（EGNMT）框架，通过重用相似示例句中的相关翻译片段来增强神经机器翻译（NMT）。该框架引入两种模型：一种噪声掩码编码器（NME）用于过滤示例中不相关的词语，以及一种辅助解码器（AD）用于联合训练主解码器以预测可重用短语，从而在多个语种对上实现相较于基线系统的最高+9 BLEU分数提升。

ABSTRACT

In this paper, we study the problem of enabling neural machine translation (NMT) to reuse previous translations from similar examples in target prediction. Distinguishing reusable translations from noisy segments and learning to reuse them in NMT are non-trivial. To solve these challenges, we propose an Example-Guided NMT (EGNMT) framework with two models: (1) a noise-masked encoder model that masks out noisy words according to word alignments and encodes the noise-masked sentences with an additional example encoder and (2) an auxiliary decoder model that predicts reusable words via an auxiliary decoder sharing parameters with the primary decoder. We define and implement the two models with the state-of-the-art Transformer. Experiments show that the noise-masked encoder model allows NMT to learn useful information from examples with low fuzzy match scores (FMS) while the auxiliary decoder model is good for high-FMS examples. More experiments on Chinese-English, English-German and English-Spanish translation demonstrate that the combination of the two EGNMT models can achieve improvements of up to +9 BLEU points over the baseline system and +7 BLEU points over a two-encoder Transformer.

研究动机与目标

• 使神经机器翻译（NMT）能够有效重用来自相似示例句的翻译片段。
• 解决在示例翻译中区分可重用翻译片段与噪声、不匹配内容的挑战。
• 开发一种可训练的端到端框架，将示例引导整合到NMT解码过程中，而无需修改核心架构。
• 通过互补建模策略，利用低相似度和高相似度示例翻译来提升翻译质量。

提出的方法

• 噪声掩码编码器（NME）模型利用词对齐技术识别并用特殊标记<X>掩码示例翻译中的非相关词语，然后对清理后的序列进行编码。
• 辅助解码器（AD）模型与主解码器共享参数，并被训练以预测参考翻译的掩码版本，其中不匹配部分被替换为<X>。
• 辅助解码器与主解码器联合训练，使主模型能够学习从示例翻译中生成可重用短语。
• 该框架基于Transformer架构实现，支持任何基于编码器-解码器的NMT系统。
• NME与AD模型相结合，以发挥其互补优势：NME在低模糊匹配得分（FMS）示例中表现优异，通过过滤噪声；AD在高FMS示例中表现更优，通过直接指导重用。

实验结果

研究问题

• RQ1 NMT能否在过滤掉噪声和不匹配内容的同时，有效引导重用示例句中的相关翻译片段？
• RQ2 如何在不修改其架构的前提下，训练主NMT解码器从示例翻译中学习？
• RQ3 在不同示例相似度水平下，噪声掩码与辅助解码在提升翻译质量方面的相对贡献是什么？
• RQ4 统一框架能否结合噪声掩码与辅助解码，超越基线模型和单一模型方法？

主要发现

• EGNMT框架在中文-英文、英文-德文和英文-西班牙文翻译任务中，相较于基线Transformer模型，最高实现+9.0 BLEU分数的提升。
• 辅助解码器模型（AD）在高模糊匹配得分（FMS）示例中表现最佳，而噪声掩码编码器（NME）在低FMS示例中表现最优。
• 联合的EGNMT模型在所有FMS水平下均实现了可重用词生成的最高F1分数，表明其在精确率与召回率之间实现了有效平衡。
• 注意力可视化结果证实，最终模型能正确聚焦于示例中的可重用翻译片段，而基线模型则随机关注示例中的各个部分。
• 该模型因词对齐错误而过滤了示例翻译中8.1%的词语，但仍保持了较高的重用准确率。
• 该框架具有通用性，可应用于任何基于Transformer的NMT系统，且具备与翻译记忆或领域自适应技术集成的潜力。