[论文解读] Domain Control for Neural Machine Translation

Catherine Kobus, Josep Crego+1 more|arXiv (Cornell University)|Dec 19, 2016

Natural Language Processing Techniques参考文献 16被引用 16

一句话总结

本文提出了一种神经机器翻译（NMT）的运行时领域控制技术，使单个神经网络能够在不重新训练的情况下适应多个领域。通过在编码器的句子层面注入领域特征，该模型在领域内、领域外及未知领域测试集上均提升了翻译质量，且相对于基线模型实现了稳定的BLEU提升。

ABSTRACT

Machine translation systems are very sensitive to the domains they were trained on. Several domain adaptation techniques have been deeply studied. We propose a new technique for neural machine translation (NMT) that we call domain control which is performed at runtime using a unique neural network covering multiple domains. The presented approach shows quality improvements when compared to dedicated domains translating on any of the covered domains and even on out-of-domain data. In addition, model parameters do not need to be re-estimated for each domain, making this effective to real use cases. Evaluation is carried out on English-to-French translation for two different testing scenarios. We first consider the case where an end-user performs translations on a known domain. Secondly, we consider the scenario where the domain is not known and predicted at the sentence level before translating. Results show consistent accuracy improvements for both conditions.

研究动机与目标

• 解决NMT系统在训练数据与测试数据之间存在领域差异时的敏感性问题。
• 使单个NMT模型能够在不重新训练的情况下，为多个领域生成高质量翻译。
• 通过统一架构提升领域内与领域外数据的翻译质量。
• 探索将领域元信息有效注入神经编码器以实现更优领域感知翻译的有效方法。

提出的方法

• 将领域信息作为连续向量在句子层面注入编码器的输入层。
• 采用基于特征的方法，将源句中的每个词与其特定领域的嵌入向量相结合。
• 采用基于Bahdanau等人（2014）的注意力机制共享编码器-解码器架构，并通过引入领域感知输入特征进行增强。
• 在推理时使用基于RNN的领域分类器，预测每条句子的领域后再进行翻译。
• 通过建模句子与多个领域之间的接近程度，引入软领域表示，以提升对领域误分类的鲁棒性。
• 使用BLEU分数在六个领域上评估性能，包括对一个新领域（对话）的零样本测试。

实验结果

研究问题

• RQ1 单个NMT模型是否能在不重新训练的情况下，实现对多个领域的翻译质量提升？
• RQ2 与领域专用模型相比，在句子层面注入领域元信息对翻译质量的影响如何？
• RQ3 领域控制在领域外或未知领域测试集上的性能提升程度如何？
• RQ4 该模型在推理时对领域预测错误的鲁棒性如何？
• RQ5 模型是否能够学习在句子层面进行领域分类，且该能力是否提升了翻译性能？

主要发现

• 基于特征的领域注入方法在所有测试集上均提升了BLEU分数，平均提升0.80 BLEU点，仅Parliamentary领域提升0.26 BLEU点。
• 附加标记方法结果参差不齐，部分领域性能提升，但其他领域性能下降，与始终有益的特征方法形成对比。
• 即使领域分类器（基于RNN）预测错误，特征模型仍优于基线联合模型，表明对预测错误具有鲁棒性。
• 使用错误的领域标签会导致翻译质量显著下降，尤其在IT领域表现明显，凸显了领域选择的敏感性。
• 模型表现出学习到的领域分类能力，当存在参考翻译时，预测领域与真实领域的相关性较高。
• 在未在训练数据中出现的对话领域零样本测试集中，该模型仍优于基线模型，展现出强大的泛化能力。