[论文解读] ZeroGen: Efficient Zero-shot Learning via Dataset Generation

Jiacheng Ye, Jiahui Gao+6 more|arXiv (Cornell University)|Feb 16, 2022

Topic Modeling被引用 6

一句话总结

ZeroGen 提出了一种新颖的、无需标注的 NLP 零样本学习框架，通过使用特定任务提示（task-specific prompts）利用大规模预训练语言模型（PLMs）生成合成训练数据，实现高效推理。随后，使用一个极小的特定任务模型（如 LSTM）在该合成数据上进行训练，其参数量相比 PLMs 减少数个数量级，但性能更优，展示了当前最先进的零样本结果，并实现了无需人工标注的高效推理。

ABSTRACT

There is a growing interest in dataset generation recently due to the superior generative capacity of large pre-trained language models (PLMs). In this paper, we study a flexible and efficient zero-short learning method, extsc{ZeroGen}. Given a zero-shot task, we first generate a dataset from scratch using PLMs in an unsupervised manner. Then, we train a tiny task model (e.g., LSTM) under the supervision of the synthesized dataset. This approach allows highly efficient inference as the final task model only has orders of magnitude fewer parameters comparing to PLMs (e.g., GPT2-XL). Apart from being annotation-free and efficient, we argue that extsc{ZeroGen} can also provide useful insights from the perspective of data-free model-agnostic knowledge distillation, and unreferenced text generation evaluation. Experiments and analysis on different NLP tasks, namely, text classification, question answering, and natural language inference, show the effectiveness of extsc{ZeroGen}.

研究动机与目标

• 开发一种灵活的、无需人工标注的零样本学习框架，绕过人工标注数据。
• 探索合成数据生成作为无数据、模型无关知识蒸馏的潜力。
• 通过下游任务性能间接评估文本生成模型的质量。
• 研究提示工程对生成数据在零样本学习中有效性的影响力。
• 通过在合成数据上训练的小型、任务优化模型，实现实时高效且可部署的推理。

提出的方法

• 使用大规模预训练语言模型（PLM）以无监督、提示驱动的方式生成完整的训练数据集。
• 设计特定任务的提示，引导 PLM 生成与下游任务（如文本分类、问答）对齐的输入-输出对。
• 应用简单的过滤启发式方法，从生成的数据集中去除低质量或分布外样本。
• 使用标准监督学习方法在合成数据集上训练小型、特定任务模型（如 LSTM）。
• 使用最终的微型模型进行推理，实现低延迟和低成本的部署。
• 将下游任务性能作为 PLM 文本生成质量的间接、无参考评估指标。

实验结果

研究问题

• RQ1 通过提示工程由 PLM 生成的合成数据，是否能使极小模型在零样本设置下超越其 PLM 教师模型？
• RQ2 生成数据的质量在多大程度上与下游任务性能相关，从而可作为文本生成质量的评估指标？
• RQ3 不同提示设计（如自然语言 vs. 控制代码）如何影响最终任务模型的性能？
• RQ4 在低资源设置下，基于合成数据训练的模型是否能超越在人工标注数据上训练的模型？
• RQ5 训练流程中完全不使用人工标注，是否能实现更灵活、高效的 NLP 模型部署？

主要发现

• ZeroGen 中的极小任务模型（TAM）在零样本文本分类任务中表现优于其 PLM 教师模型，尽管参数量仅为后者的约 0.4%。
• 在低资源设置下，基于合成数据训练的 TAM 超过了在完全监督设置下使用人工标注数据训练的同一模型。
• 下游任务性能强烈反映了文本生成质量：更丰富的解码策略导致更嘈杂的数据，进而降低性能。
• 提示工程显著影响性能——自然语言风格提示与结构化提示在不同任务中表现各异，无单一最优格式。
• 该框架实现了无数据、模型无关的知识蒸馏，学生模型可自由融入任务特定的归纳偏置。
• 该方法为传统零样本学习提供了一种可行、高效且有效的替代方案，尤其适用于资源受限的部署环境。