[论文解读] Automatic Combination of Sample Selection Strategies for Few-Shot Learning

Branislav Pecher, Ivan Srba+2 more|TU/e Research Portal|Feb 5, 2024

Domain Adaptation and Few-Shot Learning被引用 4

一句话总结

本文提出ACSESS，一种在少样本学习中自动结合多种样本选择策略的自动方法，通过利用各策略的互补优势来提升性能。在上下文学习中，其性能相比单个策略和先前方法（如LENS）最高提升5个百分点，尤其在低样本设置下增益显著，而在样本数量较多时收益递减。

ABSTRACT

In few-shot learning, such as meta-learning, few-shot fine-tuning or in-context learning, the limited number of samples used to train a model have a significant impact on the overall success. Although a large number of sample selection strategies exist, their impact on the performance of few-shot learning is not extensively known, as most of them have been so far evaluated in typical supervised settings only. In this paper, we thoroughly investigate the impact of 20 sample selection strategies on the performance of 5 few-shot learning approaches over 8 image and 6 text datasets. In addition, we propose a new method for automatic combination of sample selection strategies (ACSESS) that leverages the strengths and complementary information of the individual strategies. The experimental results show that our method consistently outperforms the individual selection strategies, as well as the recently proposed method for selecting support examples for in-context learning. We also show a strong modality, dataset and approach dependence for the majority of strategies as well as their dependence on the number of shots - demonstrating that the sample selection strategies play a significant role for lower number of shots, but regresses to random selection at higher number of shots.

研究动机与目标

• 研究20种不同的样本选择策略在图像和文本数据集上的少样本学习性能影响。
• 解决在基于梯度的少样本学习（如元学习、微调）和上下文学习中，样本选择缺乏系统性评估的问题。
• 开发一种自动组合多种选择策略的方法，以利用其互补优势并提升少样本学习性能。
• 分析样本选择策略在模态、数据集和样本数量上的依赖性。
• 识别样本选择性能趋于饱和的点，即在样本数量较高时，样本选择的增益可忽略不计。

提出的方法

• ACSESS基于各策略对少样本学习性能的预期贡献，识别出相关样本选择策略的子集。
• 通过加权投票方式组合选定的策略，其中权重通过学习或估计各策略在当前少样本任务中的预期收益获得。
• 在验证集上评估各策略，以估计其预期性能增益，再进行最终选择。
• 支持均匀和自适应两种加权方案，后者可根据任务特定特征动态调整策略的重要性。
• 该框架应用于五种少样本学习方法：ProtoNets、MAML、微调，以及两种大语言模型（Mistral、Zephyr）的上下文学习。
• 在8个图像数据集和6个文本数据集上评估该方法，通过多次随机种子的聚合结果以确保鲁棒性。

实验结果

研究问题

• RQ1 20种不同的样本选择策略如何影响五种少样本学习方法在14个多样化数据集上的性能？
• RQ2 与单个策略相比，组合多种样本选择策略在多大程度上能提升少样本学习性能？
• RQ3 样本选择策略的性能在不同模态（图像与文本）、数据集和少样本学习方法之间如何变化？
• RQ4 样本数量如何影响样本选择策略的有效性？
• RQ5 在何种样本数量下，样本选择变得可忽略或退化为随机选择？

主要发现

• ACSESS始终优于所有单个样本选择策略及近期的LENS方法，在上下文学习中最高提升5个百分点，在基于梯度的少样本学习中提升3个百分点。
• 在低样本数量下（如5–10个样本），样本选择影响显著，性能最高可提升3个百分点；但在样本数量较高时（平均30–40个样本），性能退化为接近随机选择。
• 在基于梯度的学习中，样本数量超过50个后，性能增益显著下降；在上下文学习中，样本数量超过20个后增益减弱，且受输入文本长度和模型上下文窗口的强烈影响。
• 各策略的有效性在不同数据集、模型和学习范式间差异显著，表明其具有高度的模态和方法依赖性。
• 通过ACSESS组合策略可获得最高增益，尤其当结合具有不同特性的策略（如多样性、不确定性、信息量）时效果更佳（例如，Cartography Hard + Easy + Ambiguous 的性能优于任一单独变体）。
• Forgetting、Glister 和 GraNd 等策略在特定模型上表现优异（如Forgetting使Mistral提升1.22分），但其增益在所有设置中并不一致。