[论文解读] Generation-Distillation for Efficient Natural Language Understanding in Low-Data Settings

Luke Melas-Kyriazi, George Han+1 more|arXiv (Cornell University)|Jan 25, 2020

Topic Modeling参考文献 18被引用 7

一句话总结

本文提出生成蒸馏（generation-distillation）方法，利用大型语言模型（GPT-2）生成合成训练样本，并通过微调的 BERT 模型将知识蒸馏到小型学生网络中，以实现低资源文本分类。该方法在 AG News、DBPedia 和 Yahoo Answers 数据集上达到 BERT 准确率的 98%，参数量减少 300 倍，且相比先前蒸馏方法，使用参数量减少 3 倍即取得更优性能。

ABSTRACT

Over the past year, the emergence of transfer learning with large-scale language models (LM) has led to dramatic performance improvements across a broad range of natural language understanding tasks. However, the size and memory footprint of these large LMs makes them difficult to deploy in many scenarios (e.g. on mobile phones). Recent research points to knowledge distillation as a potential solution, showing that when training data for a given task is abundant, it is possible to distill a large (teacher) LM into a small task-specific (student) network with minimal loss of performance. However, when such data is scarce, there remains a significant performance gap between large pretrained LMs and smaller task-specific models, even when training via distillation. In this paper, we bridge this gap with a novel training approach, called generation-distillation, that leverages large finetuned LMs in two ways: (1) to generate new (unlabeled) training examples, and (2) to distill their knowledge into a small network using these examples. Across three low-resource text classification datsets, we achieve comparable performance to BERT while using 300x fewer parameters, and we outperform prior approaches to distillation for text classification while using 3x fewer parameters.

研究动机与目标

• 在低数据场景下缩小小型专用模型与大型预训练语言模型之间的性能差距。
• 解决在移动电话等资源受限设备上部署大型语言模型（如 BERT）的挑战。
• 通过生成建模增强训练数据，改进低数据场景下的知识蒸馏。
• 证明结合数据生成与蒸馏相比标准蒸馏或从零开始训练，可获得更优性能。

提出的方法

• 在小规模标注数据集上微调大型语言模型（GPT-2），并利用其生成风格与原始数据一致的合成未标注训练样本。
• 使用生成的样本通过知识蒸馏方式训练小型学生模型（CNN），蒸馏源来自微调后的 BERT 模型。
• 蒸馏过程使用 BERT 的软标签概率（通过 KL 散度损失），而非硬标签，以保留更丰富的监督信号。
• 学生模型在原始标注数据与生成的合成数据组合上进行训练，蒸馏过程增强了泛化能力。
• 评估了两种学生架构：Kim 风格 CNN 与 ResNet 风格 CNN，以检验其在不同模型结构上的泛化性能。
• 该方法在三个低资源文本分类基准上进行评估：AG News、DBPedia 和 Yahoo Answers。

实验结果

研究问题

• RQ1 能否通过大型语言模型生成数据来提升小型专用模型在低资源文本分类中的性能？
• RQ2 在结合合成数据生成的前提下，将微调后的 BERT 模型知识蒸馏到小型学生网络中是否能获得更优结果？
• RQ3 在低资源场景下，生成蒸馏方法与标准蒸馏及从零开始训练相比，性能表现如何？
• RQ4 所提出方法能否在显著减少参数量的前提下，实现与 BERT 相当的性能？
• RQ5 学生模型架构的选择是否影响生成蒸馏流程的有效性？

主要发现

• 在 AG News 上，生成蒸馏方法使用仅 1,124 个参数即达到 89.9% 的准确率，性能与 BERT-Large 相当，但参数量减少 300 倍。
• 在 DBPedia 上，该方法使用相同参数量（1,124）的学生模型达到 96.3% 的准确率，相比先前蒸馏方法提升 1.7 个百分点。
• 在 Yahoo Answers 上，使用 1,091 个参数的学生模型达到 65.0% 的准确率，超越先前最先进方法 1.6 个百分点，且参数量减少 3 倍。
• 随着生成样本数量增加，性能持续提升：仅使用 500 个合成样本（每类 50 个）即可达到 60% 准确率，且性能随数据量增加而继续上升。
• 在 Yahoo Answers 上，使用 BERT 的软标签蒸馏相比对生成样本进行硬标签标注，性能提升 1.3 个百分点，证实了软标签监督的优势。
• 该方法在不同架构上均具泛化能力，Kim 风格与 ResNet 风格的学生模型均一致优于标准蒸馏方法。