[论文解读] LiST: Lite Self-training Makes Efficient Few-shot Learners.

Yaqing Wang, Subhabrata Mukherjee+4 more|arXiv (Cornell University)|Oct 12, 2021

Topic Modeling参考文献 37被引用 5

一句话总结

LiST 是一种轻量级的自训练方法，通过结合自训练与基于适配器的参数高效微调，提升了大规模预训练语言模型在少样本微调中的性能。相较于经典微调，其性能提升达35%，相比提示微调提升6%，同时将可训练参数量减少96%，且每个任务仅需30个标注样本。

ABSTRACT

We present a new method LiST for efficient fine-tuning of large pre-trained language models (PLMs) in few-shot learning settings. LiST significantly improves over recent methods that adopt prompt fine-tuning using two key techniques. The first one is the use of self-training to leverage large amounts of unlabeled data for prompt-tuning to significantly boost the model performance in few-shot settings. We use self-training in conjunction with meta-learning for re-weighting noisy pseudo-prompt labels. However, traditional self-training is expensive as it requires updating all the model parameters repetitively. Therefore, we use a second technique for light-weight fine-tuning where we introduce a small number of task-specific adapter parameters that are fine-tuned during self-training while keeping the PLM encoder frozen. This also significantly reduces the overall model footprint across several tasks that can now share a common PLM encoder as backbone for inference. Combining the above techniques, LiST not only improves the model performance for few-shot learning on target domains but also reduces the model memory footprint. We present a comprehensive study on six NLU tasks to validate the effectiveness of LiST. The results show that LiST improves by 35% over classic fine-tuning methods and 6% over prompt-tuning with 96% reduction in number of trainable parameters when fine-tuned with no more than 30 labeled examples from each target domain.

研究动机与目标

• 在标注数据极少的情况下，提升预训练语言模型的少样本学习性能。
• 在低资源环境下，减少微调模型的内存占用与参数量。
• 通过共享的预训练语言模型主干网络，实现高效、可扩展的多任务自然语言理解适应。
• 通过元学习重新加权，缓解自训练过程中伪标签提示的噪声问题。

提出的方法

• 利用自训练在提示微调过程中利用大量未标注数据，以提升少样本性能。
• 引入特定任务的适配器模块，仅微调这些模块而保持预训练语言模型编码器冻结，从而减少参数更新量。
• 应用元学习方法，对自训练过程中生成的噪声伪提示标签进行重新加权。
• 将自训练与基于适配器的微调相结合，在计算成本极低的前提下保持高性能。
• 在多个任务间共享单一冻结的预训练语言模型编码器，实现高效的推理与模型压缩。
• 采用轻量级训练流程，避免对预训练语言模型进行完整微调，显著降低内存占用。

实验结果

研究问题

• RQ1 当与参数高效适应结合时，自训练能否提升提示微调模型的少样本性能？
• RQ2 基于适配器的微调在保持性能的同时，能否有效减少可训练参数的数量？
• RQ3 元学习能否提升自训练中伪标签提示的可靠性，以应对少样本自然语言理解任务？
• RQ4 在标注数据有限的少样本微调中，性能提升与参数效率之间的权衡关系如何？
• RQ5 能否在仅需极少微调开销的前提下，有效将共享的预训练语言模型主干用于多个任务？

主要发现

• 当每个任务使用不超过30个标注样本时，LiST 相较于经典微调，将少样本学习性能提升了35%。
• 在相同的少样本设置下，LiST 相较于提示微调实现了6%的性能增益。
• 与标准微调相比，该方法将可训练参数数量减少了96%。
• 适配器的使用实现了高效的任务特定适应，同时保持预训练语言模型编码器冻结。
• 该模型在仅使用极少标注数据的情况下，于六个多样化的自然语言理解任务中均保持了强大的泛化能力。
• 结合元学习重新加权的自训练方法，能有效降低噪声，提升模型鲁棒性。