[论文解读] Don't Stop Pretraining? Make Prompt-based Fine-tuning Powerful Learner

Zhengxiang Shi, Aldo Lipani|arXiv (Cornell University)|May 2, 2023

Topic Modeling被引用 6

一句话总结

本文挑战了在特定任务数据上持续预训练可提升微调性能的假设，尤其针对基于提示的微调方法。本文提出提示式持续预训练（PCP），通过无监督目标联合在特定任务文本和特定任务提示模板上预训练语言模型，相较于标准微调方法绝对提升高达20.1%，且在极少数据下无需迭代过程即超越当前最先进半监督方法。

ABSTRACT

Language models (LMs) trained on vast quantities of unlabelled data have greatly advanced the field of natural language processing (NLP). In this study, we re-visit the widely accepted notion in NLP that continued pre-training LMs on task-related texts improves the performance of fine-tuning (FT) in downstream tasks. Through experiments on eight single-sentence tasks and eight sentence-pair tasks in both semi-supervised and fully-supervised settings, we find that conventional continued pre-training does not consistently provide benefits and can even be detrimental for sentence-pair tasks or when prompt-based FT is used. To tackle these issues, we propose Prompt-based Continued Pre-training (PCP), which combines the idea of instruction tuning with conventional continued pre-training. Our approach aims to improve the performance of prompt-based FT by presenting both task-related texts and prompt templates to LMs through unsupervised pre-training objectives before fine-tuning for the target task. Our empirical evaluations on 21 benchmarks demonstrate that the PCP consistently improves the performance of state-of-the-art prompt-based FT approaches (up to 20.1% absolute) in both semi-supervised and fully-supervised settings, even with only hundreds of unlabelled examples. Additionally, prompt-based FT with the PCP outperforms state-of-the-art semi-supervised approaches with greater simplicity, eliminating the need for an iterative process and extra data augmentation. Our further analysis explores the performance lower bound of the PCP and reveals that the advantages of PCP persist across different sizes of models and datasets.

研究动机与目标

• 探究在特定任务数据上进行传统持续预训练是否始终能提升微调性能，特别是针对基于提示的方法。
• 解决在标准持续预训练下，句子对任务和基于提示的微调中观察到的不稳定性和性能下降问题。
• 提出一种统一且高效的预训练策略，利用极少未标注数据显著提升基于提示的微调性能。
• 证明在预训练阶段将任务数据与提示模板结合，相比标准持续预训练或现有半监督方法，能获得更优的下游性能。
• 验证所提方法在不同模型规模、数据集和训练设置下的鲁棒性与可扩展性。

提出的方法

• 提出提示式持续预训练（PCP），一种新颖的预训练策略，即在无监督预训练过程中将特定任务文本与对应提示模板（包括标签映射）联合进行训练。
• 采用掩码语言建模作为预训练目标，其中输入序列由输入文本和将标签空间映射为标记序列的提示模板组成。
• 在领域内未标注任务数据与使用黄金标签或伪标签构建的合成样本混合数据上训练语言模型。
• 在预训练过程中将提示模板整合到输入序列中，确保模型学会同时关注输入内容与指令，从而更好地对齐下游任务。
• 在PCP之后应用标准基于提示的微调，无需额外数据增强或迭代优化。
• 在所有任务中使用统一框架，避免任务特定调优或复杂适应过程。

实验结果

研究问题

• RQ1 在多样化NLP任务中，对特定任务数据进行传统持续预训练是否能始终提升基于提示的微调性能？
• RQ2 在标准持续预训练下，联合在任务数据与提示模板上进行预训练，能否缓解句子对任务中观察到的性能下降？
• RQ3 在准确率、简洁性与数据效率方面，PCP与当前最先进半监督学习方法相比表现如何？
• RQ4 PCP实现显著性能提升所需的最少未标注数据量是多少？
• RQ5 PCP的优势是否在不同模型规模与数据集规模下依然保持？

主要发现

• 在句子对任务中，传统持续预训练（TAPT）可能导致基于提示的微调性能下降9.2%，表明其并非普遍有益。
• PCP在21个基准测试中将基于提示的微调性能提升最高达20.1%的绝对准确率，显著优于标准微调与TAPT。
• PCP仅使用100–500个未标注样本即在半监督设置中达到SOTA性能，展现出极高的数据效率。
• PCP优于现有半监督方法（如采用迭代自训练或数据增强的方法），且无需迭代过程或额外数据。
• PCP的性能增益在不同模型规模与数据集规模下均表现稳健，表明其具有稳定下界提升效果。
• 即使应用于较小模型与有限数据，PCP仍保持其优势，表明其具有广泛适用性与可扩展性。