[论文解读] Explicit Visual Prompting for Universal Foreground Segmentations

Weihuang Liu, Xi Shen+2 more|arXiv (Cornell University)|May 29, 2023

Visual Attention and Saliency Detection被引用 4

一句话总结

本文提出显式视觉提示（Explicit Visual Prompting, EVP），一种统一的通用前景分割框架，通过任务特定的图像块嵌入微调和学习的高频分量，适配冻结的视觉Transformer模型。通过仅使用少量可训练参数重新调制这些显式视觉特征，EVP在14个数据集的5项前景分割任务中均达到最先进性能，优于全微调和其他参数高效方法。

ABSTRACT

Foreground segmentation is a fundamental problem in computer vision, which includes salient object detection, forgery detection, defocus blur detection, shadow detection, and camouflage object detection. Previous works have typically relied on domain-specific solutions to address accuracy and robustness issues in those applications. In this paper, we present a unified framework for a number of foreground segmentation tasks without any task-specific designs. We take inspiration from the widely-used pre-training and then prompt tuning protocols in NLP and propose a new visual prompting model, named Explicit Visual Prompting (EVP). Different from the previous visual prompting which is typically a dataset-level implicit embedding, our key insight is to enforce the tunable parameters focusing on the explicit visual content from each individual image, i.e., the features from frozen patch embeddings and high-frequency components. Our method freezes a pre-trained model and then learns task-specific knowledge using a few extra parameters. Despite introducing only a small number of tunable parameters, EVP achieves superior performance than full fine-tuning and other parameter-efficient fine-tuning methods. Experiments in fourteen datasets across five tasks show the proposed method outperforms other task-specific methods while being considerably simple. The proposed method demonstrates the scalability in different architectures, pre-trained weights, and tasks. The code is available at: https://github.com/NiFangBaAGe/Explicit-Visual-Prompt.

研究动机与目标

• 为解决诸如显著目标检测、伪造检测和伪装目标检测等多样化前景分割任务缺乏统一框架的问题。
• 通过使单一模型能够在多个前景分割任务中泛化，减少对任务特定架构的依赖。
• 通过学习任务特定知识的显式视觉提示而非全微调，提升参数效率和模型泛化能力。
• 探索基于图像嵌入和频域高频分量的显式视觉提示的有效性。

提出的方法

• 该方法冻结预训练视觉Transformer主干网络，并引入少量可训练参数以适应下游任务。
• 通过频域中的自适应掩码，利用傅里叶MLP重新调制冻结的图像块嵌入特征，并学习高频分量。
• 频域增强适配器通过可学习映射将图像嵌入与频域特征结合，实现在所有Transformer块中的任务特定适应。
• 比例因子 $ r $ 控制可训练参数数量，平衡模型复杂度与性能。
• 该方法端到端可训练，提示直接从输入图像特征及其频谱表示中学习。
• 该方法兼容多种视觉Transformer架构和预训练权重，展现出强大的可扩展性。

实验结果

研究问题

• RQ1 是否能够通过统一框架在无需任务特定架构设计的情况下，在多样化前景分割任务中实现最先进性能？
• RQ2 基于图像块嵌入和高频分量的显式视觉提示，相较于隐式提示或全微调，效果如何？
• RQ3 如何配置可训练参数数量和适应阶段，以在最小参数开销下最大化性能？
• RQ4 与先前版本中使用的固定手工设计掩码相比，频域提示的端到端学习是否能提升性能？

主要发现

• 在涵盖5项前景分割任务的14个数据集中，EVP在性能上优于全微调和其他参数高效微调方法。
• 移除图像嵌入或频域特征均导致性能显著下降，证实两者对有效提示均不可或缺。
• 对SegFormer-B4的全部四个阶段进行微调可获得最佳性能，其中Stage 3贡献最大，且在顶层或底层之间无明显偏好。
• 最优比例因子 $ r = 16 $ 在性能与参数效率之间实现平衡，进一步将 $ r $ 降低至8或4并未带来一致的性能提升。
• EVPv2通过傅里叶MLP自适应学习频域特征，优于使用固定掩码提取高频分量的EVPv1。
• 该方法在不同视觉Transformer架构和预训练权重上均展现出强大的可扩展性，以极少的可训练参数维持高性能。