[论文解读] Code-Switching for Enhancing NMT with Pre-Specified Translation

Kai Song, Yue Zhang+4 more|arXiv (Cornell University)|Apr 19, 2019

Natural Language Processing Techniques参考文献 29被引用 43

一句话总结

本文提出一种数据增强方法，通过用预先指定的翻译替换源短语来创建代码切换训练数据，使NMT模型能够直接复制目标语言短语，并在不损害自由翻译的情况下改善受限翻译。它在 En-Ru 和 Ch-En 的多个领域中对占位符和词汇约束方法显示出一致的 BLEU 增益，并在非受限句子上保持性能。

ABSTRACT

Leveraging user-provided translation to constrain NMT has practical significance. Existing methods can be classified into two main categories, namely the use of placeholder tags for lexicon words and the use of hard constraints during decoding. Both methods can hurt translation fidelity for various reasons. We investigate a data augmentation method, making code-switched training data by replacing source phrases with their target translations. Our method does not change the MNT model or decoding algorithm, allowing the model to learn lexicon translations by copying source-side target words. Extensive experiments show that our method achieves consistent improvements over existing approaches, improving translation of constrained words without hurting unconstrained words.

研究动机与目标

• 在领域特定NMT中的约束动机以及占位符和词汇约束方法的局限性。
• 引入代码切换数据增强方法，教会NMT复制预先指定的翻译。
• 通过在解码器中整合共享嵌入和指针网络来加强复制。
• 在多个领域的 En-Ru 和 Ch-En 上展示对基线的改进。

提出的方法

• 使用 SMT 短语表将源短语替换为目标翻译来构建增强的并行数据。
• 在不修改解码器的情况下，通过将源短语替换为预先指定的翻译来预处理解码。
• 与源端目标词共享目标嵌入以对齐用于复制的嵌入。
• 在解码器中集成指针网络以复制源端目标词。
• 将增强数据与原始数据混合，训练一个标准 Transformer 而不改变解码算法。
• 用 BLEU 在 En-Ru 和 Ch-En 上评估，并与占位符和词汇约束基线进行比较。

实验结果

研究问题

• RQ1 代码切换训练数据是否能让 NMT 在解码时有效地复制预先指定的翻译？
• RQ2 共享嵌入和指针网络是否能改善复制和整体翻译质量？
• RQ3 与占位符和词汇约束解码相比，该方法在跨领域有何差异？
• RQ4 该方法是否在非代码切换输入的翻译质量方面保持竞争力？

主要发现

• 该方法在 En-Ru 和 Ch-En 的多个测试集和领域上对占位符和词汇约束基线持续带来改进。
• 在英语–俄语新闻领域，平均 BLEU 增益为 3.48，超过占位符，且 2.94 超过词汇约束。
• 在英语–俄语电子商务领域，平均 BLEU 增益为 1.34 相较于占位符，2.63 相较于词汇约束。
• 在中文–英语口语领域集，平均 BLEU 增益为 1.35 相较于占位符，0.42 相较于词汇约束。
• 共享嵌入和指针网络提升了复制成功率和翻译质量。
• 该方法在非代码切换输入上保持竞争力，在某些未替换句子上 BLEU 指标相当或略有提升。