[论文解读] Fantastically Ordered Prompts and Where to Find Them: Overcoming Few-Shot Prompt Order Sensitivity

Yao Lu, Max Bartolo+3 more|arXiv (Cornell University)|Apr 18, 2021

Topic Modeling被引用 119

一句话总结

论文表明，在上下文学习中提示样本顺序对不同模型和任务的性能有显著影响，并引入基于熵的探测来自动识别高效的顺序，且无需额外标注数据，带来显著提升。

ABSTRACT

When primed with only a handful of training samples, very large, pretrained language models such as GPT-3 have shown competitive results when compared to fully-supervised, fine-tuned, large, pretrained language models. We demonstrate that the order in which the samples are provided can make the difference between near state-of-the-art and random guess performance: essentially some permutations are "fantastic" and some not. We analyse this phenomenon in detail, establishing that: it is present across model sizes (even for the largest current models), it is not related to a specific subset of samples, and that a given good permutation for one model is not transferable to another. While one could use a development set to determine which permutations are performant, this would deviate from the true few-shot setting as it requires additional annotated data. Instead, we use the generative nature of language models to construct an artificial development set and based on entropy statistics of the candidate permutations on this set, we identify performant prompts. Our method yields a 13% relative improvement for GPT-family models across eleven different established text classification tasks.

研究动机与目标

• 展示在上下文学习中样本顺序显著影响性能，贯穿不同模型规模和任务。
• 说明良好排列并不能跨模型或跨任务迁移。
• 提出一种基于探测的方法，自动识别高效的提示顺序，无需带标签的开发数据。
• 利用语言模型的生成特性，构建一个无标签的探测集用于评估。
• 量化基于熵的探测在多样化数据集和模型上的提升。

提出的方法

• 使用4-shot提示在SST-2及其他数据集上分析GPT-2/GPT-3模型的顺序敏感性。
• 通过从语言模型采样构建探测集，生成与训练样本对应的无标签示例。
• 定义全局熵和局部熵度量，用探测集预测对候选提示顺序进行排序。
• 选择熵分最高的前k个提示顺序（k=4），并在多个数据集上进行评估。
• 证明基于熵的探测在11个任务上实现了相对平均提升约13%。

实验结果

研究问题

• RQ1 少-shot 提示顺序敏感性是否在模型规模和任务之间具有普遍性？
• RQ2 我们是否可以在没有带标签的开发数据的情况下自动识别高效的提示顺序？
• RQ3 良好的提示排列能在模型之间或任务之间迁移吗？
• RQ4 基于熵的探测度量是否对不同模板和数据集具有鲁棒性？

主要发现

• 提示顺序的变动可以使性能在GPT-2/GPT-3规模上波动，接近先进水平到接近随机。
• 单一的良好排列不能稳定地迁移到不同的模型或数据集。
• 全局熵和局部熵通过无标签探测集可靠地识别高效的提示顺序。
• 基于熵的探测在11个文本分类任务上实现了相对平均提升约13%（覆盖不同模型规模）。
• 所选提示相比使用所有候选顺序时，性能方差显著降低。
• 基于熵的探测在提示选择方面优于简单的验证集调优或数据分割方法。