[论文解读] Multi-Domain Neural Machine Translation with Word-Level Adaptive Layer-wise Domain Mixing

Haoming Jiang, Liang Chen+2 more|arXiv (Cornell University)|Nov 7, 2019

Natural Language Processing Techniques参考文献 38被引用 4

一句话总结

该论文提出了一种多领域神经机器翻译模型，通过词级、自适应、层级的领域混合机制，提升领域共享与领域特定知识的学习。通过为每个词和每层动态分配领域比例，并利用加权平均结合领域特定的多头注意力模块，该模型在多个神经机器翻译基准测试中达到最先进性能，在多领域与单领域翻译任务中均优于现有方法。

ABSTRACT

Many multi-domain neural machine translation (NMT) models achieve knowledge transfer by enforcing one encoder to learn shared embedding across domains. However, this design lacks adaptation to individual domains. To overcome this limitation, we propose a novel multi-domain NMT model using individual modules for each domain, on which we apply word-level, adaptive and layer-wise domain mixing. We first observe that words in a sentence are often related to multiple domains. Hence, we assume each word has a domain proportion, which indicates its domain preference. Then word representations are obtained by mixing their embedding in individual domains based on their domain proportions. We show this can be achieved by carefully designing multi-head dot-product attention modules for different domains, and eventually taking weighted averages of their parameters by word-level layer-wise domain proportions. Through this, we can achieve effective domain knowledge sharing, and capture fine-grained domain-specific knowledge as well. Our experiments show that our proposed model outperforms existing ones in several NMT tasks.

研究动机与目标

• 解决现有多领域神经机器翻译模型依赖单一共享编码器的局限性，该方法难以充分适应各个独立领域。
• 通过允许每个词在不同层具有多个领域比例，实现细粒度、上下文相关的领域知识共享。
• 通过自适应混合领域特定注意力模块，捕捉领域共享与领域特定表征，从而提升翻译性能。
• 证明词级、层级的领域混合机制可优于标准统一模型或基于嵌入的多领域神经机器翻译方法。

提出的方法

• 为每个领域构建独立的多头点积注意力模块，支持领域特定表征学习。
• 针对每个词，按层计算其领域比例，反映其在不同领域中的上下文偏好。
• 通过将领域特定注意力模块的参数按权重平均生成词表征，其中权重为该词在各层的领域比例。
• 每个词的领域比例被建模为可学习的、上下文相关的向量，并在各层间动态演化。
• 通过允许梯度从领域比例模块流向嵌入空间，与现有领域感知嵌入技术（如 MTL、AdvL、PAdvL）集成。
• 该架构支持端到端反向传播训练，实现领域混合与翻译任务的联合优化。

实验结果

研究问题

• RQ1 词级、层级的领域混合是否能通过实现跨领域的自适应知识共享，提升多领域神经机器翻译性能？
• RQ2 为每个词和每层动态分配领域比例，如何影响模型在消歧领域特定词义方面的能力？
• RQ3 领域特定注意力模块在捕捉领域特定语言模式方面，与单一共享编码器相比，其性能优势有多大？
• RQ4 所提出的混合机制能否与现有领域感知嵌入方法有效结合，进一步提升翻译质量？
• RQ5 领域比例在各层之间如何演化？这揭示了网络中知识共享与专业化机制的哪些特征？

主要发现

• 所提模型在多个多领域神经机器翻译基准上达到最先进BLEU分数，优于现有方法，包括统一模型与基于嵌入的方法。
• 在中英翻译任务中，将领域混合与PAdvL嵌入训练结合，相比基线模型，BLEU分数最高提升0.48分。
• 解码器的领域比例比编码器更不均衡，表明解码器中领域知识共享能力较弱，这限制了英德翻译任务中的性能提升。
• 通过领域比例的动态演化，实现了更好的词义消歧：同一词语（如 'article'）可依据上下文与层深度被映射至不同领域（如 'laws' 与 'media'）。
• 实验表明，该模型能有效捕捉领域特定表征，表现为领域比例在各层间的演化过程，词在不同深度表现出明确的领域偏好。
• 实验验证了领域混合机制与领域感知嵌入技术具有互补性，二者结合可进一步提升性能。