[论文解读] Guiding Neural Machine Translation with Retrieved Translation Pieces

Jingyi Zhang, Masao Utiyama+3 more|arXiv (Cornell University)|Apr 7, 2018

Natural Language Processing Techniques参考文献 15被引用 19

一句话总结

本文提出了一种简单且高效的方法，通过检索相似的源句并提取可重用的翻译片段（即与重叠词对齐的n-gram），从而提升神经机器翻译（NMT）性能。该方法通过提升包含这些片段的NMT输出来实现改进，在低资源和窄领域任务中，BLEU分数最高提升6分，推理时间开销极小，且在准确率、速度和简洁性方面均优于强基线检索方法。

ABSTRACT

One of the difficulties of neural machine translation (NMT) is the recall and appropriate translation of low-frequency words or phrases. In this paper, we propose a simple, fast, and effective method for recalling previously seen translation examples and incorporating them into the NMT decoding process. Specifically, for an input sentence, we use a search engine to retrieve sentence pairs whose source sides are similar with the input sentence, and then collect $n$-grams that are both in the retrieved target sentences and aligned with words that match in the source sentences, which we call "translation pieces". We compute pseudo-probabilities for each retrieved sentence based on similarities between the input sentence and the retrieved source sentences, and use these to weight the retrieved translation pieces. Finally, an existing NMT model is used to translate the input sentence, with an additional bonus given to outputs that contain the collected translation pieces. We show our method improves NMT translation results up to 6 BLEU points on three narrow domain translation tasks where repetitiveness of the target sentences is particularly salient. It also causes little increase in the translation time, and compares favorably to another alternative retrieval-based method with respect to accuracy, speed, and simplicity of implementation.

研究动机与目标

• 解决神经机器翻译（NMT）中低频词和短语翻译的挑战。
• 提升在目标句重复性显著的窄领域翻译任务中NMT的性能。
• 开发一种无需修改模型或重新训练的测试时检索增强方法，以提升NMT性能。
• 在保持低计算成本和简单实现的前提下，实现比现有检索增强NMT方法更高的翻译准确率。

提出的方法

• 使用搜索引擎从训练语料库中检索与输入句子在词汇重叠基础上相似的源-目标句子对。
• 对每个检索到的句子对，使用词级对齐识别重叠的源词及其对应的目标n-gram，形成‘翻译片段’。
• 基于输入句子与检索到的源句子之间的编辑距离相似度，为每个检索到的句子计算伪概率分数。
• 根据伪概率分数对翻译片段进行加权，优先选择高相似度、高相关性的示例。
• 使用NMT模型解码输入句子，对包含收集到的翻译片段的输出施加额外奖励。
• 该方法无需模型微调或结构修改，可高效应用于预训练的NMT模型进行测试时增强。

实验结果

研究问题

• RQ1 检索与输入相似的源句是否能提升NMT在低频或领域特定短语上的性能？
• RQ2 如何在不改变模型架构的前提下，有效将检索到的翻译示例集成到NMT解码过程中？
• RQ3 在NMT推理中，检索增强带来的准确率提升与计算成本之间存在何种权衡？
• RQ4 与现有检索增强NMT方法相比，该方法在速度、简洁性和准确率方面表现如何？

主要发现

• 该方法在三个窄领域翻译任务（en-de、en-fr、en-es）上将NMT翻译性能最高提升了6个BLEU点。
• 在开发集上，该方法在en-de任务上达到50.61 BLEU，en-fr任务上达到65.03，en-es任务上达到57.49，优于基线NMT和SGNMT模型。
• 在测试集上，该方法在en-de任务上达到50.36 BLEU，en-fr任务上达到65.69，en-es任务上达到57.11，显示出相对于基线和SGNMT模型的一致性提升。
• 翻译片段收集是耗时最长的步骤，但总翻译时间仅略有增加，10个检索句子为最优检索数量。
• 该方法在准确率上达到或超过SGNMT，同时实现更简单的实现方式和更快的推理速度。
• 该方法对NMT训练时间的影响可忽略不计，因为它无需重新训练或参数更新。