[论文解读] Multi-Domain Adaptation in Neural Machine Translation Through Multidimensional Tagging

Emmanouil Stergiadis, Satendra Kumar+2 more|arXiv (Cornell University)|Feb 19, 2021

Natural Language Processing Techniques参考文献 32被引用 7

一句话总结

本文提出多领域翻译（MDT），一种新颖的方法，通过在训练和推理过程中注入多维句子级标签，实现对单一神经机器翻译模型在多个子领域（如评论、消息和房源描述）上的同时微调。MDT 在性能上达到或优于专用领域模型，将开发和维护成本降低为原来的 1/N，同时在不同语言风格下保持高流畅度和充分性。

ABSTRACT

While NMT has achieved remarkable results in the last 5 years, production systems come with strict quality requirements in arbitrarily niche domains that are not always adequately covered by readily available parallel corpora. This is typically addressed by training domain specific models, using fine-tuning methods and some variation of back-translation on top of in-domain monolingual corpora. However, industrial practitioners can rarely afford to focus on a single domain. A far more typical scenario includes a set of closely related, yet succinctly different sub-domains. At Booking.com, we need to translate property descriptions, user reviews, as well as messages, (for example those sent between a customer and an agent or property manager). An editor might need to translate articles across a set of different topics. An e-commerce platform would typically need to translate both the description of each item and the user generated content related to them. To this end, we propose MDT: a novel method to simultaneously fine-tune on several sub-domains by passing multidimensional sentence-level information to the model during training and inference. We show that MDT achieves results competitive to N specialist models each fine-tuned on a single constituent domain, while effectively serving all N sub-domains, therefore cutting development and maintenance costs by the same factor. Besides BLEU (industry standard automatic evaluation metric known to only weakly correlate with human judgement) we also report rigorous human evaluation results for all models and sub-domains as well as specific examples that better contextualise the performance of each model in terms of adequacy and fluency. To facilitate further research, we plan to make the code available upon acceptance.

研究动机与目标

• 解决在工业环境中为多个密切相关的子领域部署高质量、低资源领域专用翻译系统所面临的挑战。
• 通过使单一模型服务多个子领域，降低为每个领域维护独立模型所带来的高昂成本和复杂性。
• 在平行双语语料稀缺的细分领域中，通过带标签的回译和领域感知微调，提升翻译质量。
• 在 BLEU 之外评估模型性能，包括对流畅度和充分性的严格人工评估，覆盖多样化领域。
• 为现实世界中的多语言、多领域翻译提供可扩展、可投入生产的解决方案，适用于电商和旅游平台。

提出的方法

• 该方法使用在通用平行数据上预训练的基线 NMT 模型，以及一个反向的目标到源模型用于回译。
• 使用反向模型对领域内单语数据进行回译，生成合成平行数据。
• 将合成数据与真实领域内平行数据结合，并进行过采样，形成微调数据集。
• 每个句子通过两个特殊标记进行标注：$<$ SYNTHETIC={0,1} $>$ 和 $<$ DOMAIN={reviews,messaging,descriptions} $>$，以指示数据来源和领域。
• 基线模型在混合的、带标签的数据集上进行微调，使模型在训练过程中学习到领域特定的细微差别。
• 在推理阶段，测试时提供领域标签，以条件化模型输出，使其适配目标子领域。

实验结果

研究问题

• RQ1 单个 NMT 模型是否能在不为每个领域单独微调的情况下，在多个不同子领域中实现具有竞争力的性能？
• RQ2 与单领域微调相比，使用领域和合成数据标志的多维标记对翻译质量有何影响？
• RQ3 MDT 在流畅度和充分性方面，与专业模型相比，在多样化语言风格下的表现如何？
• RQ4 将同时带有领域和数据类型标签的真实与合成领域内数据结合，对模型泛化能力有何影响？
• RQ5 当使用一个模型服务 N 个子领域而非 N 个独立模型时，模型复杂度、训练成本与性能之间的权衡如何？

主要发现

• MDT 在所有子领域（评论、消息、描述）中均达到与单领域微调模型相当或更优的 BLEU 分数。
• 人工评估显示，MDT 保持了高流畅度和充分性，其翻译往往比专业模型更自然、更符合上下文。
• 在消息领域，MDT 超过排名前 10 的基线模型，生成了更准确、语法更正确的翻译。
• 该方法将开发和维护成本降低为原来的 1/N，因为单个模型即可服务所有 N 个子领域，而无需维护 N 个独立模型。
• 训练和推理时间与基线模型相当，微调仅需在单张 GPU 上运行 16 小时，表明无显著计算开销。
• 具体示例显示，MDT 生成了更自然的表达（如 'we would like to bring our Dalmatian dog Elli' 对比 'Elli our Dalmatian bitch'），并更好地处理了领域特定表达。