[论文解读] Cutting Down on Prompts and Parameters: Simple Few-Shot Learning with Language Models

Robert L. Logan, Ivana Balažević+4 more|arXiv (Cornell University)|Jun 24, 2021

Topic Modeling被引用 5

一句话总结

本文提出了一种简单但高效的 few-shot 学习方法，采用零提示（null prompts）——即在输入中拼接 [MASK] 标记——并结合仅更新偏置项的微调方法（BitFit）。该方法在保持与人工设计提示相当的准确率的同时，将参数更新量减少了 1,000 倍，使得基于提示的微调在鲁棒性和内存效率方面优于上下文学习或全量微调。

ABSTRACT

Prompting language models (LMs) with training examples and task descriptions has been seen as critical to recent successes in few-shot learning. In this work, we show that finetuning LMs in the few-shot setting can considerably reduce the need for prompt engineering. In fact, one can use null prompts, prompts that contain neither task-specific templates nor training examples, and achieve competitive accuracy to manually-tuned prompts across a wide range of tasks. While finetuning LMs does introduce new parameters for each downstream task, we show that this memory overhead can be substantially reduced: finetuning only the bias terms can achieve comparable or better accuracy than standard finetuning while only updating 0.1% of the parameters. All in all, we recommend finetuning LMs for few-shot learning as it is more accurate, robust to different prompts, and can be made nearly as efficient as using frozen LMs.

研究动机与目标

• 通过识别简单而有效的提示，减少在 few-shot 学习中对复杂提示工程的依赖。
• 最小化基于提示的微调在下游任务中的内存开销。
• 评估轻量级参数更新是否能够达到或超越全量微调的准确率。
• 比较基于提示的微调与上下文学习在自动化提示调优下的有效性。
• 探究 few-shot 学习的成功是源于提示设计，还是源于模型本身的内在机制。

提出的方法

• 使用‘零提示’——即在输入序列后拼接 [MASK] 标记，不使用任何特定任务的模板或训练样本。
• 采用仅更新模型偏置项的基于提示的微调方法（BitFit），将可训练参数减少至全模型的约 0.1%。
• 评估其他轻量级微调方法：适配器（Adapters）、语言模型头微调（LM head tuning）和校准层（calibration layers）。
• 在多个 NLP 任务（如 MNLI、QQP、SST-2）上，比较人工与自动化提示调优的性能表现。
• 使用掩码语言模型（MLMs），通过在 [MASK] 标记上进行标准 MLM 头预测实现分类任务。
• 与上下文学习和全量微调进行基准对比，以评估准确率与内存效率。

实验结果

研究问题

• RQ1 零提示（缺乏特定任务模板或训练样本）是否能在 few-shot 准确率上与人工设计的提示相媲美？
• RQ2 仅微调偏置项（BitFit）是否能在大幅减少参数更新量的同时保持或提升性能？
• RQ3 在准确率和对提示变化的鲁棒性方面，基于提示的微调与上下文学习相比如何？
• RQ4 自动化提示调优（如 AutoPrompt）是否能在 few-shot 设置下有效替代人工提示设计？
• RQ5 few-shot 学习的成功主要归因于提示工程，还是源于模型固有的能力（如掩码预测）？”

主要发现

• 零提示——即输入与 [MASK] 标记的简单拼接——在多个任务上实现了与人工设计提示相当或更优的准确率。
• 仅微调偏置项（BitFit）在仅更新 0.1% 参数的情况下，实现了与全量微调相当或更优的准确率。
• BitFit 方法在任务上的‘胜出次数’超过全量微调，表明在 16-shot 数据上进行全参数更新可能并非最优。
• 在上下文学习中，自动化提示调优（如 AutoPrompt）未能达到人工设计提示的性能表现，这与非 few-shot 设置下的表现不同。
• 适配器和全量微调在参数量增加时表现出准确率的边际递减，表明更小的更新集合可能更有效。
• 零提示与 BitFit 的结合提供了一种鲁棒、内存高效且高度准确的 few-shot 学习方法，优于上下文学习和标准微调。