[论文解读] Meta-KD: A Meta Knowledge Distillation Framework for Language Model Compression across Domains

Haojie Pan, Chengyu Wang+4 more|arXiv (Cornell University)|Dec 2, 2020

Topic Modeling参考文献 44被引用 4

一句话总结

Meta-KD 提出了一种元教师学习框架，通过在多个自然语言处理领域间蒸馏可迁移知识，以提升语言模型压缩中的跨领域知识蒸馏性能。通过联合学习来自多样化领域的实例级和特征级元知识，该元教师使学生模型在低数据设置下表现出色，尤其在仅使用1%训练数据时，相比单领域蒸馏最高可提升10%的准确率。

ABSTRACT

Pre-trained language models have been applied to various NLP tasks with considerable performance gains. However, the large model sizes, together with the long inference time, limit the deployment of such models in real-time applications. One line of model compression approaches considers knowledge distillation to distill large teacher models into small student models. Most of these studies focus on single-domain only, which ignores the transferable knowledge from other domains. We notice that training a teacher with transferable knowledge digested across domains can achieve better generalization capability to help knowledge distillation. Hence we propose a Meta-Knowledge Distillation (Meta-KD) framework to build a meta-teacher model that captures transferable knowledge across domains and passes such knowledge to students. Specifically, we explicitly force the meta-teacher to capture transferable knowledge at both instance-level and feature-level from multiple domains, and then propose a meta-distillation algorithm to learn single-domain student models with guidance from the meta-teacher. Experiments on public multi-domain NLP tasks show the effectiveness and superiority of the proposed Meta-KD framework. Further, we also demonstrate the capability of Meta-KD in the settings where the training data is scarce.

研究动机与目标

• 为解决预训练语言模型中单领域知识蒸馏的局限性，即无法利用其他领域的可迁移知识。
• 在领域内训练数据稀缺或不可用的低数据或新兴领域场景中，提升模型的泛化能力和蒸馏性能。
• 开发一种元教师模型，以捕捉并选择性地在多个领域间迁移领域无关的可迁移知识，从而指导学生模型的训练。

提出的方法

• 元教师在多领域数据集上联合训练，以学习跨领域的实例级和特征级可迁移知识。
• 元蒸馏模块最小化中间层和输出层的蒸馏损失，结合可迁移知识与领域专家加权机制。
• 该框架采用元学习范式，训练元教师以实现跨领域的泛化能力，使其能够指导新领域中的学生模型训练。
• 通过损失因子 γ₂ 显式蒸馏可迁移知识，该因子被调优以平衡领域特定知识与跨领域知识的迁移。
• 即使在元教师训练期间未使用任何领域内数据，学生模型仍可利用元教师的知识进行训练。
• 该方法通过组合来自logits、隐藏状态以及可迁移知识组件的蒸馏损失进行评估。

实验结果

研究问题

• RQ1 在多个领域上训练的元教师模型，是否能提升下游学生模型在低数据设置下的知识蒸馏性能？
• RQ2 与单领域KD相比，从多个领域引入可迁移知识如何影响蒸馏性能？
• RQ3 当领域内训练数据稀缺或缺失时，Meta-KD在多大程度上优于标准KD？
• RQ4 通过 γ₂ 调节的可迁移知识加权，如何影响不同领域中的模型性能？
• RQ5 在元教师训练期间未使用任何领域内数据的情况下，元教师能否泛化到新领域？

主要发现

• 当仅使用1%的训练数据时，Meta-KD在MNLI数据集上实现了10%的准确率提升，表明其在低数据设置下具有强大性能。
• 即使在元教师训练期间未使用任何领域内数据，Meta-KD在Amazon Reviews数据集上仍达到89.4%的准确率，优于标准KD，并接近使用领域内教师模型的性能。
• 最优的可迁移知识损失因子 γ₂ 落在0.2至0.5之间，且性能在不同领域间存在差异，表明元知识的收益具有领域依赖性。
• 在MNLI数据集上，当使用1%的训练数据时，Meta-KD相比标准KD将准确率提升了3.1%，凸显其在数据稀缺场景下的有效性。
• 在未使用任何‘小说’领域内数据的情况下训练的元教师，仍使学生模型达到88.2%的准确率，与使用领域内教师模型的性能相当。
• 消融实验证实，引入可迁移知识蒸馏损失显著提升了性能，尤其在低数据设置下表现更优。