[论文解读] Acquiring Knowledge from Pre-trained Model to Neural Machine Translation

Rongxiang Weng, Heng Yu+3 more|arXiv (Cornell University)|Dec 4, 2019

Natural Language Processing Techniques参考文献 33被引用 11

一句话总结

该论文提出Apt框架，通过动态融合从预训练模型微调得到的任务特定表征，并应用知识蒸馏持续迁移上下文知识，从而增强神经机器翻译（NMT）性能。该方法在多个语种翻译任务中显著提升翻译效果，优于标准微调方法及强基线模型，在WMT英语-德语、德语-英语以及中文-英语翻译任务中表现更优。

ABSTRACT

Pre-training and fine-tuning have achieved great success in the natural language process field. The standard paradigm of exploiting them includes two steps: first, pre-training a model, e.g. BERT, with a large scale unlabeled monolingual data. Then, fine-tuning the pre-trained model with labeled data from downstream tasks. However, in neural machine translation (NMT), we address the problem that the training objective of the bilingual task is far different from the monolingual pre-trained model. This gap leads that only using fine-tuning in NMT can not fully utilize prior language knowledge. In this paper, we propose an APT framework for acquiring knowledge from the pre-trained model to NMT. The proposed approach includes two modules: 1). a dynamic fusion mechanism to fuse task-specific features adapted from general knowledge into NMT network, 2). a knowledge distillation paradigm to learn language knowledge continuously during the NMT training process. The proposed approach could integrate suitable knowledge from pre-trained models to improve the NMT. Experimental results on WMT English to German, German to English and Chinese to English machine translation tasks show that our model outperforms strong baselines and the fine-tuning counterparts.

研究动机与目标

• 为解决在将标准微调应用于像BERT或GPT这样的预训练单语模型时，NMT性能存在差距的问题。
• 在单语预训练与双语翻译目标之间存在不匹配的情况下，有效将预训练模型中的丰富上下文知识迁移至NMT系统。
• 设计一种方法，动态整合从通用预训练知识微调得到的任务特定表征，融入NMT编码器-解码器架构。
• 通过在不同网络层比较融合与蒸馏策略，探索NMT中知识注入的最佳层位置。
• 证明结合动态融合与知识蒸馏可显著优于仅使用微调的方法。

提出的方法

• 提出一种动态融合机制，可自适应地在不同粒度（如嵌入层、隐藏层、输出层）将从预训练模型提取的任务特定表征融合进NMT网络。
• 引入一种知识蒸馏范式，使NMT训练过程中能够持续学习来自预训练模型的上下文知识，使模型生成结果同时与平行语料和单语语言模式对齐。
• 采用基于输入序列长度和层深度的两种控制策略，优化特征融合过程。
• 使用多头注意力机制的融合模块，以在融合过程中同时保留源语言和目标语言的表征。
• 端到端训练NMT模型，同时优化标准翻译目标与蒸馏损失，实现预训练模型知识的渐进式迁移。
• 在嵌入层、中间层和输出层等不同网络层评估融合与蒸馏策略，以识别最有效的知识集成位置。

实验结果

研究问题

• RQ1 能否有效将像BERT或GPT这样的预训练单语模型中的上下文知识迁移至神经机器翻译系统？
• RQ2 为何标准微调无法在NMT中有效利用预训练知识？何种结构或训练方式的修改可克服这一差距？
• RQ3 在NMT编码器-解码器架构中，哪些层在通过动态融合或知识蒸馏注入预训练知识时受益最多？
• RQ4 结合动态融合与知识蒸馏是否能带来优于单独使用任一方法的性能提升？
• RQ5 融合粒度（如嵌入层与输出层）的选择如何影响翻译质量与模型泛化能力？

主要发现

• Apt框架在WMT英语-德语翻译任务中达到28.77的BLEU分数，超过Transformer基线（27.31）与微调基线模型。
• 在输出层进行动态融合取得最高提升，达到28.34 BLEU，表明在生成阶段注入上下文知识最为有益。
• 在输出层应用知识蒸馏获得28.68 BLEU，优于在嵌入层或中间层进行蒸馏，证实解码阶段的上下文建模至关重要。
• 在所有层应用动态融合，并在输出层应用知识蒸馏，可实现最佳整体性能，在EN→DE任务中达到28.77 BLEU。
• 仅在嵌入层融合预训练表征，性能相比基线提升0.90 BLEU，表明即使简单集成也能带来可测量的增益。
• 研究结论认为，输出层是最适合的知识注入位置，因其可直接利用更丰富的上下文信号影响最终目标句生成。