[论文解读] Explicit Visual Prompting for Low-Level Structure Segmentations

Weihuang Liu, Xi Shen+2 more|arXiv (Cornell University)|Mar 20, 2023

Image Processing Techniques and Applications被引用 7

一句话总结

本文提出显式视觉提示（Explicit Visual Prompting, EVP），一种统一且参数高效的低层次结构分割方法，适用于伪造检测、散焦模糊、阴影检测和伪装目标检测等任务。通过微调输入图像的冻结块嵌入（patch embeddings）和高频分量，EVP仅使用比基线方法多5.7%的可训练参数，即实现了最先进性能，优于所有提示微调基线方法和特定任务模型。

ABSTRACT

We consider the generic problem of detecting low-level structures in images, which includes segmenting the manipulated parts, identifying out-of-focus pixels, separating shadow regions, and detecting concealed objects. Whereas each such topic has been typically addressed with a domain-specific solution, we show that a unified approach performs well across all of them. We take inspiration from the widely-used pre-training and then prompt tuning protocols in NLP and propose a new visual prompting model, named Explicit Visual Prompting (EVP). Different from the previous visual prompting which is typically a dataset-level implicit embedding, our key insight is to enforce the tunable parameters focusing on the explicit visual content from each individual image, i.e., the features from frozen patch embeddings and the input's high-frequency components. The proposed EVP significantly outperforms other parameter-efficient tuning protocols under the same amount of tunable parameters (5.7% extra trainable parameters of each task). EVP also achieves state-of-the-art performances on diverse low-level structure segmentation tasks compared to task-specific solutions. Our code is available at: https://github.com/NiFangBaAGe/Explicit-Visual-Prompt.

研究动机与目标

• 将伪造区域、散焦模糊、阴影和伪装目标等多样化的低层次图像结构检测统一于单一框架下。
• 解决低层次分割任务中标签数据有限且缺乏大规模数据集的挑战。
• 通过参数高效的微调方法提升低层次结构分割性能，灵感源自自然语言处理中的提示工程，但针对视觉任务进行适配。
• 证明可通过图像特定的视觉内容而非通用可学习标记来有效微调特定任务知识。

提出的方法

• EVP引入一种视觉提示机制，利用输入图像的冻结块嵌入特征和高频分量作为特定任务的提示信号。
• 该方法在冻结视觉Transformer主干网络的特征上应用可学习适配器（Adaptors），实现高效微调。
• 缩放因子 $ r $ 控制适配器中的可训练参数数量，平衡模型大小与性能。
• 适配器由共享或非共享的MLP头组成，用于在SegFormer主干网络的特定阶段调制特征。
• 该方法设计具有通用性，已在分层结构（SegFormer）和平面ViT主干网络上进行测试。
• 通过简单滤波器（如拉普拉斯算子）提取高频分量，并将其作为显式提示信号，引导冻结模型。

实验结果

研究问题

• RQ1 统一的、参数高效的微调方法是否能在多个低层次结构分割任务中实现最先进性能？
• RQ2 基于显式图像内容（如高频分量和冻结块特征）的提示方法是否优于通用可学习提示标记？
• RQ3 微调阶段选择与适配器架构设计如何影响低层次分割性能？
• RQ4 EVP是否能在不同视觉Transformer主干网络（包括平面ViT和分层SegFormer）上实现良好泛化？
• RQ5 当通过缩放因子 $ r $ 控制可训练参数数量时，模型大小与性能之间的最优权衡是什么？

主要发现

• EVP在涵盖四个低层次分割任务的九个不同数据集上均实现最先进性能，优于特定任务模型及其他提示微调基线方法。
• 仅比基线方法多5.7%的可训练参数，EVP在四个数据集中的三个上超越全量微调，第四组数据集上表现相当。
• 若移除冻结块嵌入特征（$ F_{pe} $）或高频分量（$ F_{hfc} $），性能均出现显著下降，证实二者均不可或缺。
• 当 $ r = 4 $ 时，性能与参数效率达到最佳平衡；若进一步减小至1或2，性能趋于平稳或下降。
• 消融实验表明，跨阶段共享适配器MLP会损害性能，说明各阶段独立进行任务特定适配至关重要。
• EVP在平面ViT主干网络上也表现出良好泛化能力，在ViT-Base主干的SETR模型上优于VPT与AdaptFormer，验证了其架构鲁棒性。