[论文解读] Finding Support Examples for In-Context Learning

Xiaonan Li, Xipeng Qiu|arXiv (Cornell University)|Feb 27, 2023

Topic Modeling被引用 7

一句话总结

该论文引入 LENS，一种两阶段的先筛选再搜索方法，用于在上下文学习（ICL）中选择任务代表性的支持示例，从而提高相对于基线和先前的核心集方法的性能。它首先使用 InfoScore 筛选出单独信息量大的样本，然后进行以多样性为导向的搜索，以找到样本的高效排列。

ABSTRACT

Additionally, the strong dependency among in-context examples makes it an NP-hard combinatorial optimization problem and enumerating all permutations is infeasible. Hence we propose LENS, a fiLter-thEN-Search method to tackle this challenge in two stages: First we filter the dataset to obtain informative in-context examples individually. Specifically, we propose a novel metric, InfoScore, to evaluate the example's in-context informativeness based on the language model's feedback, and further propose a progressive filtering process to filter out uninformative examples. Then we propose diversity-guided example search which iteratively refines and evaluates the selected example permutations, to find examples that fully depict the task. The experimental results show that LENS significantly outperforms a wide range of baselines.

研究动机与目标

• 定义在上下文学习（ICL）中选择任务代表性支持示例的问题。
• 提出一个两阶段方法，从带注释的数据中识别信息丰富且具有多样性的上下文示例。
• 证明该方法在多个文本分类任务上优于基线和先前的核心集方法。
• 分析支持示例的属性，如顺序敏感性和跨模型的可迁移性。
• 为未来的 ICL 专门的示例选择研究提供洞见和潜在方向。

提出的方法

• 阶段1：使用 InfoScore 筛选信息性示例，以基于语言模型反馈衡量上下文信息量。
• 在逐步增大的数据子集上进行渐进式筛选，以高效计算 InfoScore。
• 阶段2：以多样性为导向的示例搜索，通过带束搜索风格的过程对过滤后样本的排列进行细化和评估，并考虑多样性（s(e,E') 和 f(e)）。
• 在 GPT2-L 上评估，并对 GPT2-M、GPT2-XL、GPT-Neo-2.7B 进行迁移测试。
• 使用一个小型验证集来引导排列选择，并通过随机打乱来缓解顺序效应。
• 基于两阶段设计来应对 ICL 示例选择的 NP-hard 组合性质。
• 对支持样本与真实标签的重要性进行分析。

实验结果

研究问题

• RQ1 两阶段的筛选-再搜索方法是否能够可靠地识别 ICL 的任务代表性支持示例？
• RQ2 与随机样本相比，支持示例是否降低了对上下文顺序的敏感性？
• RQ3 支持示例的真实标签与输入结构对 ICL 性能是否至关重要？
• RQ4 支持示例是否能在不同大小和预训练语料的模型之间有效迁移？
• RQ5 超参数如何影响方法的性能与鲁棒性？

主要发现

• 在 GPT2-L 上，LENS 在多种文本分类数据集上显著优于大量基线。
• 与随机样本相比，支持示例在不同顺序下表现更稳定。
• 真实标签对支持示例很重要，而随机示例对标签的敏感性较低。
• 支持示例在不同语言模型（GPT2-M、GPT2-XL、GPT-Neo-2.7B）之间具有良好的跨模型迁移性。
• 核心集风格的梯度法在 ICL 中对随机基线的提升有限，凸显了 ICL 专门策略的必要性。
• 两阶段方法（InfoScore 筛选 + 多样性导向的搜索）至关重要；若去掉第二阶段，性能下降，验证了在排列选择中多样性的价值。