[论文解读] Model Compression with Multi-Task Knowledge Distillation for Web-scale Question Answering System

Ze Yang, Linjun Shou+3 more|arXiv (Cornell University)|Apr 21, 2019

Topic Modeling参考文献 25被引用 16

一句话总结

本文提出多任务知识蒸馏（MKDM），用于压缩类似 BERT 的大规模预训练模型，以实现网络规模问答系统的快速推理，且不损失性能。通过将多个教师模型的知识联合蒸馏到单一轻量化学生模型中，MKDM 提升了泛化能力并减少了过拟合，其性能与原始教师模型相当或更优，尤其在结合大规模无标签数据的两阶段预训练策略时表现更佳。

ABSTRACT

Deep pre-training and fine-tuning models (like BERT, OpenAI GPT) have demonstrated excellent results in question answering areas. However, due to the sheer amount of model parameters, the inference speed of these models is very slow. How to apply these complex models to real business scenarios becomes a challenging but practical problem. Previous works often leverage model compression approaches to resolve this problem. However, these methods usually induce information loss during the model compression procedure, leading to incomparable results between compressed model and the original model. To tackle this challenge, we propose a Multi-task Knowledge Distillation Model (MKDM for short) for web-scale Question Answering system, by distilling knowledge from multiple teacher models to a light-weight student model. In this way, more generalized knowledge can be transferred. The experiment results show that our method can significantly outperform the baseline methods and even achieve comparable results with the original teacher models, along with significant speedup of model inference.

研究动机与目标

• 解决在真实世界网络规模问答系统中使用大型预训练模型（如 BERT）时推理速度慢的挑战。
• 通过最小化知识蒸馏过程中的信息损失，减少模型压缩带来的性能下降。
• 通过多教师知识融合，改善蒸馏后学生模型的泛化能力并减少过拟合偏差。
• 探索两阶段训练策略（在无标签数据上预训练，随后在有标签数据上微调）在多任务蒸馏中的有效性。
• 开发一种可扩展、高效且高性能的学生模型，适用于生产环境中低延迟的在线推理。

提出的方法

• 设计一个多任务学习框架，使单个学生模型能够同时从多个预训练教师模型（如 BERT-base、BERT-large）生成的软标签中联合学习。
• 构建一个联合损失函数，结合知识蒸馏损失（来自教师软标签）与交叉熵损失（来自黄金标签），并由超参数 α 加权。
• 提出一种两阶段多任务知识蒸馏模型（TS-MKDM），首先使用多个教师模型生成的软标签，在大规模无标签数据上对学生模型进行预训练。
• 随后，在较小的有标签数据集上，结合软标签与黄金标签对模型进行微调，通过迭代知识优化提升性能。
• 利用多样化教师模型之间的互补知识，提升学生模型的泛化能力与鲁棒性。
• 优化损失权重比 α，以平衡知识蒸馏与监督学习，消融实验表明在 α=0.9 时性能最佳。

实验结果

研究问题

• RQ1 多教师知识蒸馏能否提升网络规模问答中压缩学生模型的泛化能力与性能？
• RQ2 与单教师蒸馏相比，从多个教师模型联合学习是否能减少过拟合偏差？
• RQ3 在大规模无标签数据上使用多教师软标签对学生模型进行预训练，能否进一步提升性能？
• RQ4 所提出的两阶段训练策略（预训练 + 微调）是否能使学生模型超越原始教师模型的性能？
• RQ5 在多任务框架中，知识蒸馏与监督学习损失之间的最优权衡（即 α 的取值）是什么？

主要发现

• MKDM 模型优于基线蒸馏方法，在 CommQA-Labeled 数据集上达到 77.18% 的准确率与 85.14% 的 AUC，显著优于单教师基线模型。
• 两阶段 TS-MKDM 方法在相同数据集上达到 79.22% 的准确率与 87.50% 的 AUC，超过原始 BERT 模型（77.00% 准确率，86.50% AUC）。
• 当 α=0.9 时，模型达到最佳性能（77.18% 准确率，85.14% AUC），表明软标签与黄金标签监督的平衡至关重要。
• 当 α=1.0（仅使用软标签）时性能下降，证明黄金标签在全面知识获取中不可或缺。
• TS-MKDM 模型表明，在 10000 万条无标签问答对上进行预训练能显著提升性能，使学生模型在 AUC 与准确率上均超越教师模型。
• 结果证实，通过联合优化的多教师蒸馏能减少过拟合并增强泛化能力，尤其在低资源或高可变性场景下表现更优。