[论文解读] A Survey of Domain Adaptation for Neural Machine Translation

Chenhui Chu, Rui Wang|arXiv (Cornell University)|Jun 1, 2018

Natural Language Processing Techniques参考文献 80被引用 130

一句话总结

对神经机器翻译（NMT）的领域自适应技术的全面综述，分为数据驱动和模型驱动的方法，并讨论实际应用性和未来方向。

ABSTRACT

Neural machine translation (NMT) is a deep learning based approach for machine translation, which yields the state-of-the-art translation performance in scenarios where large-scale parallel corpora are available. Although the high-quality and domain-specific translation is crucial in the real world, domain-specific corpora are usually scarce or nonexistent, and thus vanilla NMT performs poorly in such scenarios. Domain adaptation that leverages both out-of-domain parallel corpora as well as monolingual corpora for in-domain translation, is very important for domain-specific translation. In this paper, we give a comprehensive survey of the state-of-the-art domain adaptation techniques for NMT.

研究动机与目标

• 在领域特定语料稀缺的情境中，说明领域特定翻译的必要性。
• 评估并对 NMT 的领域自适应技术进行分类，区分数据驱动和模型驱动的方法。
• 总结在域内单语数据、合成数据以及域外平行数据如何被用于 NMT 的领域自适应。
• 讨论在域自适应 NMT 中的实际考虑、真实部署挑战，以及未来研究方向。

提出的方法

• 将 NMT 的领域自适应方法分为数据驱动和模型驱动两大范式。
• 在数据驱动方面：评述在单语数据的使用、通过回译生成合成平行数据，以及使用带领域标签的域外平行数据和数据过采样等方法。
• 在模型驱动方面：涵盖训练目标的调整、架构改进（如深度融合、领域判别器、领域控制），以及解码相关策略（浅融合、集成）。
• 讨论多领域训练、数据选择和混合微调等将领域数据结合在一起的实用策略。
• 提供对现实世界情景的讨论，以及基于数据可用性选择方法的指南。

实验结果

研究问题

• RQ1 在有限的域内平行数据存在的情况下，哪些领域自适应技术对神经机器翻译最有效？
• RQ2 如何利用域内单语数据和合成数据来提升 NMT 的域内翻译质量？
• RQ3 数据驱动与模型驱动的领域自适应策略在 NMT 中的权衡是什么，它们如何转化到真实世界部署？
• RQ4 应如何将领域信息整合（例如领域标签、判别器）以控制或改进 NMT 的领域特定翻译？
• RQ5 将领域自适应应用于前沿 NMT 架构和多语言设置有哪些有前景的未来方向？

主要发现

• 该综述将 NMT 领域自适应分为两个主要类别：数据驱动和模型驱动方法。
• 数据驱动方法包括利用域内单语数据、通过回译生成合成平行数据，以及使用带领域标签的域外数据或数据选择技术。
• 模型驱动方法包括训练目标的调整、架构变更（如深度融合和领域判别器）、以及解码策略（如浅融合和基于格的解码）。
• 讨论了多领域和数据选择策略，混合微调通常通过在提升域内翻译的同时保留域外性能来提供实际收益。
• 本文强调需要将领域技术适配到最先进的 NMT 架构（RNNs、CNNs、Transformer），并讨论未来方向，如对抗性领域自适应、领域生成，以及多语言/多领域设置。