[论文解读] Generate, Annotate, and Learn: Generative Models Advance Self-Training and Knowledge Distillation.

Xuanli He, Islam Nassar+3 more|arXiv (Cornell University)|Jun 11, 2021

Domain Adaptation and Few-Shot Learning参考文献 96被引用 7

一句话总结

本文提出 GAL（Generate, Annotate, and Learn）框架，利用微调后的 GPT-2 生成领域内未标注数据，用于自训练和知识蒸馏。通过生成合成数据并利用分类器生成的软伪标签，GAL 在 GLUE、CIFAR-10 和 UCI 表格式任务上提升性能，在 6 层 Transformer 模型上达到最先进结果，并在 GLUE 上超越 RoBERTa-large 模型。

ABSTRACT

Semi-Supervised Learning (SSL) has seen success in many application domains, but this success often hinges on the availability of task-specific unlabeled data. Knowledge distillation (KD) has enabled compressing deep networks and ensembles, achieving the best results when distilling knowledge on fresh task-specific unlabeled examples. However, task-specific unlabeled data can be challenging to find. We present a general framework called generate, annotate, and learn (GAL) that uses unconditional generative models to synthesize in-domain unlabeled data, helping advance SSL and KD on different tasks. To obtain strong task-specific generative models, we adopt generic generative models, pretrained on open-domain data, and fine-tune them on inputs from specific tasks. Then, we use existing classifiers to annotate generated unlabeled examples with soft pseudo labels, which are used for additional training. When self-training is combined with samples generated from GPT2-large, fine-tuned on the inputs of each GLUE task, we outperform a strong RoBERTa-large baseline on the GLUE benchmark. Moreover, KD on GPT-2 samples yields a new state-of-the-art for 6-layer transformers on the GLUE leaderboard. Finally, self-training with GAL offers significant gains on image classification on CIFAR-10 and four tabular tasks from the UCI repository

研究动机与目标

• 解决半监督学习和知识蒸馏中任务特定未标注数据获取受限的挑战。
• 在不依赖真实未标注数据的前提下，提升下游自然语言处理、视觉和表格式任务的模型性能。
• 开发一种可泛化的框架，利用预训练生成模型进行数据合成与伪标签生成。
• 证明微调后的 GPT-2 生成的合成数据可提升自训练与知识蒸馏在多样化任务上的表现。

提出的方法

• 在任务特定输入上微调通用预训练生成模型（GPT-2-large），以构建任务特定的生成模型。
• 使用微调后的生成器为下游任务合成领域内未标注样本。
• 应用现有分类器为生成样本分配软伪标签。
• 将生成的、带伪标签的数据用于自训练，以进一步提升学生模型性能。
• 利用生成数据进行知识蒸馏，训练更小的模型，从而提升性能与效率。
• 在多样化基准上进行训练与评估：GLUE 用于自然语言处理，CIFAR-10 用于视觉任务，UCI 表格式数据集用于表格学习。

实验结果

研究问题

• RQ1 无条件生成模型能否被微调以生成高质量、领域相关的未标注数据用于下游任务？
• RQ2 使用微调后的 GPT-2 生成的合成数据进行自训练，是否能提升 GLUE 及其他基准测试的性能？
• RQ3 在生成数据上进行知识蒸馏能否为小型 Transformer 模型带来最先进结果？
• RQ4 GAL 框架在包括自然语言处理、视觉和表格式数据在内的多样化领域中效果如何？
• RQ5 在生成数据上使用软伪标签是否能带来模型泛化能力的一致性提升？

主要发现

• 使用微调后的 GPT-2-large 生成的 GAL 数据进行自训练，在 GLUE 基准测试上优于强大的 RoBERTa-large 基线模型。
• 在 GPT-2 生成样本上进行知识蒸馏，为 6 层 Transformer 模型在 GLUE 排行榜上创造了新的最先进结果。
• 在 CIFAR-10 图像分类任务上，GAL 的自训练带来显著的性能提升。
• 该框架在 UCI 数据库中四个表格式学习任务上均提升了性能。
• 在生成数据上使用软伪标签，可在所有评估任务中带来一致且可测量的性能提升。