[论文解读] An Empirical Comparison of Simple Domain Adaptation Methods for Neural Machine Translation

Chenhui Chu, Raj Dabre+1 more|arXiv (Cornell University)|Jan 12, 2017

Natural Language Processing Techniques参考文献 14被引用 51

一句话总结

本论文提出混合微调（mixed fine tuning），一种用于 NMT 的领域自适应方法，将域外预训练与混合域内/域外微调相结合，并将其与微调和多领域方法进行比较。结果表明，在多个领域对中，混合微调通常获得最佳 BLEU 分数。

ABSTRACT

In this paper, we propose a novel domain adaptation method named "mixed fine tuning" for neural machine translation (NMT). We combine two existing approaches namely fine tuning and multi domain NMT. We first train an NMT model on an out-of-domain parallel corpus, and then fine tune it on a parallel corpus which is a mix of the in-domain and out-of-domain corpora. All corpora are augmented with artificial tags to indicate specific domains. We empirically compare our proposed method against fine tuning and multi domain methods and discuss its benefits and shortcomings.

研究动机与目标

• 在低资源、领域内数据有限的设置中推动神经机器翻译的领域自适应。
• 提出混合微调作为将域外预训练与混合域内/域外微调相结合的方法。
• 在多个领域对比中，实证比较混合微调与微调以及多领域策略。
• 评估域标签对性能的影响，并分析训练时间与过拟合效应。

提出的方法

• 在域外数据上训练 NMT 模型直至收敛。
• 在混合语料（包含领域内和域外数据）的上继续训练，并对领域内部分进行过采样。
• 可选地在领域内数据上进一步微调。
• 为所有语料添加域标签以指示域。
• 在两种领域自适应设置下，使用 BLEU-4 在多个测试集上进行评估。

实验结果

研究问题

• RQ1 混合微调在神经机器翻译领域自适应中是否优于传统微调和多领域方法？
• RQ2 域标签对这些领域自适应方法的性能有何影响？
• RQ3 在收敛时间和对领域内数据质量鲁棒性方面存在哪些权衡？
• RQ4 所提出的方法在不同语言对和领域对组合（高质量与低质量领域内数据）下的表现如何？

主要发现

系统	test2010	test2011	test2012	test2013	average	extra
IWSLT-CE SMT	-	12.73	16.27	14.01	14.67	14.31
IWSLT-CE NMT	-	6.75	9.08	9.05	7.29	7.87
NTCIR-CE SMT	29.54	3.57	4.70	4.21	4.74	4.33
NTCIR-CE NMT	37.11	2.23	2.83	2.55	2.85	2.60
Fine tuning	17.37	13.93	18.99	16.12	17.12	16.41
Multi domain	36.40	13.42	19.07	16.56	17.54	16.34
Multi domain w/o tags	37.32	12.57	17.40	15.02	15.96	14.97
Multi domain + Fine tuning	14.47	13.18	18.03	16.41	16.80	15.82
Mixed fine tuning	37.01	15.04	20.96	18.77	18.63	18.01
Mixed fine tuning w/o tags	39.67	14.47	20.53	18.10	17.97	17.43
Mixed fine tuning + Fine tuning	32.03	14.40	19.53	17.65	17.94	17.11

• 混合微调在所考察的领域对中通常获得最佳 BLEU-4 分数。
• 微调在小规模领域内数据上容易过拟合，而混合微调可缓解过拟合并保持域外翻译质量。
• 带域标签的多领域方法可以有所帮助，但未能始终优于混合微调。
• 当领域内数据质量较差时（如 WIKI-CJ），混合微调的优势不那么明显，表明领域数据质量会影响效果。
• 与微调相比，混合微调需要更长的微调时间，且与微调数据规模成正比。
• 域标签对多领域和混合微调设置都具有积极作用。