[论文解读] Exploring Effective Factors for Improving Visual In-Context Learning

Yanpeng Sun, Qiang Chen+4 more|arXiv (Cornell University)|Apr 10, 2023

Domain Adaptation and Few-Shot Learning被引用 7

一句话总结

该论文提出 prompt-SelF，一种用于视觉少样本学习的新颖框架，通过像素级提示选择与基于集成的提示融合提升性能。通过选择高质量且空间上相似的提示，并结合多种融合策略的预测结果，prompt-SelF 实现了当前最优结果，首次在 1-shot 分割任务中超越基于 OSLSM 的元学习方法。

ABSTRACT

The In-Context Learning (ICL) is to understand a new task via a few demonstrations (aka. prompt) and predict new inputs without tuning the models. While it has been widely studied in NLP, it is still a relatively new area of research in computer vision. To reveal the factors influencing the performance of visual in-context learning, this paper shows that prompt selection and prompt fusion are two major factors that have a direct impact on the inference performance of visual context learning. Prompt selection is the process of identifying the most appropriate prompt or example to help the model understand new tasks. This is important because providing the model with relevant prompts can help it learn more effectively and efficiently. Prompt fusion involves combining knowledge from different positions within the large-scale visual model. By doing this, the model can leverage the diverse knowledge stored in different parts of the model to improve its performance on new tasks. Based these findings, we propose a simple framework prompt-SelF for visual in-context learning. Specifically, we first use the pixel-level retrieval method to select a suitable prompt, and then use different prompt fusion methods to activate all the knowledge stored in the large-scale model, and finally ensemble the prediction results obtained from different prompt fusion methods to obtain the final prediction results. And we conduct extensive experiments on single-object segmentation and detection tasks to demonstrate the effectiveness of prompt-SelF. Remarkably, the prompt-SelF has outperformed OSLSM based meta-learning in 1-shot segmentation for the first time. This indicated the great potential of visual in-context learning. The source code and models will be available at https://github.com/syp2ysy/prompt-SelF.

研究动机与目标

• 识别并分析影响视觉少样本学习性能的关键因素。
• 研究提示选择质量与提示融合策略对下游任务准确率的影响。
• 开发一种同时优化提示选择与融合的框架，以最大化视觉任务的性能。
• 通过增强提示选择与融合策略，提升对领域偏移的鲁棒性。
• 证明 prompt-SelF 可在少样本视觉分割任务中超越元学习基线方法。

提出的方法

• 使用像素级检索方法，选择与查询图像在空间上相似的高质量提示。
• 应用多种提示融合方法，将查询图像与提示图像组合为单个输入，包含八种不同的子图像排列方式。
• 采用集成策略，通过 4/8 的多数投票阈值，结合不同融合方法的预测结果。
• 引入基于阈值的集成机制，以减轻低质量提示带来的负面影响。
• 利用预训练的大规模视觉模型，通过不同的融合模式激活各层知识。
• 在单对象分割与检测基准上验证框架性能，采用多样化的提示选择与融合策略。

实验结果

研究问题

• RQ1 提示选择质量如何影响视觉少样本学习的性能？
• RQ2 不同提示融合排列对模型预测准确率有何影响？
• RQ3 通过多种融合策略的集成预测能否提升鲁棒性与性能？
• RQ4 prompt-SelF 在少样本分割任务中与元学习基线方法相比表现如何？
• RQ5 像素级检索在多大程度上可缓解视觉少样本学习中的领域偏移问题？

主要发现

• 提示选择对性能有显著影响，空间上相似的提示可获得更高的 IoU 分数。
• 不同提示融合方法会激活大规模模型中不同的知识表征，导致预测结果各异。
• 采用 4/8 阈值的集成策略在分割任务中达到最优性能。
• prompt-SelF 首次在 1-shot 分割任务中超越基于 OSLSM 的元学习方法。
• 与图像级检索相比，像素级检索对领域偏移更具鲁棒性，尤其在提示与查询数据集不一致时表现更优。
• 通过集成融合增加提示数量可在不降低分辨率的前提下提升性能，与以往基于网格的方法不同。