[论文解读] Effective Strategies in Zero-Shot Neural Machine Translation

Thanh-Le Ha, Jan Niehues+1 more|arXiv (Cornell University)|Nov 21, 2017

Natural Language Processing Techniques参考文献 9被引用 42

一句话总结

本文提出两种有效策略——语言作为词特征（Language as a Word Feature）和目标词典过滤（Target Dictionary Filtering），在无并行语料的情况下提升多语言神经机器翻译系统中的零样本神经机器翻译性能。通过将语言身份编码进词嵌入，并在解码过程中过滤目标词汇，该方法将训练时间最多减少80%，显著提升翻译质量与流畅性，尤其在低资源、数据不平衡的场景下表现突出。

ABSTRACT

In this paper, we proposed two strategies which can be applied to a multilingual neural machine translation system in order to better tackle zero-shot scenarios despite not having any parallel corpus. The experiments show that they are effective in terms of both performance and computing resources, especially in multilingual translation of unbalanced data in real zero-resourced condition when they alleviate the language bias problem.

研究动机与目标

• 解决缺乏并行单语语料的多语言NMT系统中零样本翻译的挑战。
• 缓解语言偏差，在低资源、数据不平衡的多语言设置下提升性能。
• 在保持或提升翻译质量的同时，减少训练时间与模型复杂度。
• 通过最小化对标准NMT框架的修改，实现更高效、更有效的零样本翻译。

提出的方法

• 通过在词嵌入中引入语言特定的标记，提出‘语言作为词特征’，减少词汇量与模型参数。
• 在束搜索解码过程中应用目标词典过滤，将候选词限制在目标语言范围内，提升流畅性并减少错误。
• 使用共享的嵌入矩阵表示源语言与目标语言，通过在输入标记后附加语言标识符以区分多语言输入。
• 对标准NMT框架进行最小化修改，仅在输入序列中添加语言标记，并在解码时过滤目标词汇。
• 利用注意力机制与编码器-解码器序列建模结构，采用双向编码器与自回归解码器，与标准NMT一致。
• 在共享语义空间的多语言语料上进行训练，推理时使用束搜索并结合过滤后的词汇表。

实验结果

研究问题

• RQ1 在缺乏并行单语语料的情况下，如何提升多语言NMT系统在零样本翻译场景下的性能？
• RQ2 将语言身份编码为词特征在多大程度上可降低模型复杂度与训练时间？
• RQ3 目标词典过滤在提升零样本翻译输出的流畅性与减少错误方面有多有效？
• RQ4 这些策略能否缓解不平衡多语言训练数据中的语言偏差问题？
• RQ5 在零样本NMT中，性能提升与计算效率之间的权衡如何？

主要发现

• ‘语言作为词特征’策略将模型参数从243000000减少至130000000（德语→荷兰语），并从247000000减少至122000000（德语→罗马尼亚语），每轮训练时间分别从7.3小时降至1.5小时，以及从6.0小时降至1.3小时。
• 目标词典过滤显著提升了翻译的流畅性与可读性，示例显示错误或非目标语言词汇被纠正（如德语→荷兰语中将‘Zugang’更正为‘access’）。
• 两种策略的结合在零样本翻译任务中表现更优，尤其在数据不平衡设置下，BLEU分数提升且错误率降低。
• 这些方法对标准NMT框架的修改极小，可轻松集成至现有多语言翻译系统中。
• 在真实零资源条件下（目标语言对无并行语料）尤为有效。
• 词汇量与模型参数的减少使得可使用更大的批量大小与更快的训练更新，提升了训练效率，且未牺牲翻译质量。