[论文解读] 2nd Place Winning Solution for the CVPR2023 Visual Anomaly and Novelty Detection Challenge: Multimodal Prompting for Data-centric Anomaly Detection

Yunkang Cao, Xiaohao Xu+4 more|arXiv (Cornell University)|Jun 15, 2023

Anomaly Detection Techniques and ApplicationsComputer Science被引用 3

一句话总结

本文提出 SAA+，一种以数据为中心的零样本异常分割框架，通过利用源自领域专家知识和目标图像上下文的多模态提示，对 SAM 和 GroundingDINO 等基础模型进行正则化。通过整合语言、属性、显著性及置信度提示，SAA+ 在 VisA 和 MVTec-AD 基准上实现了最先进性能，显著降低了基线提示方法的误报率。

ABSTRACT

This technical report introduces the winning solution of the team Segment Any Anomaly for the CVPR2023 Visual Anomaly and Novelty Detection (VAND) challenge. Going beyond uni-modal prompt, e.g., language prompt, we present a novel framework, i.e., Segment Any Anomaly + (SAA$+$), for zero-shot anomaly segmentation with multi-modal prompts for the regularization of cascaded modern foundation models. Inspired by the great zero-shot generalization ability of foundation models like Segment Anything, we first explore their assembly (SAA) to leverage diverse multi-modal prior knowledge for anomaly localization. Subsequently, we further introduce multimodal prompts (SAA$+$) derived from domain expert knowledge and target image context to enable the non-parameter adaptation of foundation models to anomaly segmentation. The proposed SAA$+$ model achieves state-of-the-art performance on several anomaly segmentation benchmarks, including VisA and MVTec-AD, in the zero-shot setting. We will release the code of our winning solution for the CVPR2023 VAN.

研究动机与目标

• 解决由模糊、类别无关的语言提示引起的零样本异常分割中高误报率问题。
• 在无需微调的情况下，提升基础模型在异常检测中的零样本泛化能力。
• 将领域特定的专家知识与动态图像上下文整合到提示设计中，以实现更优的异常定位。
• 开发一种以数据为中心的框架，通过多模态提示正则化基础模型，而非模型微调。
• 在零样本设置下，实现在 VisA 和 MVTec-AD 上的最先进性能。

提出的方法

• 通过级联提示引导的目标检测器（GroundingDINO）与分割模型（SAM），构建基线方法 Segment Any Anomaly（SAA）。
• 在 SAA+ 中引入多模态提示，使用四种提示类型：语言提示（如“缺陷”）、属性提示（如“过长”）、显著性提示（来自图像特征）以及置信度提示（来自 top-K 区域得分）。
• 利用预训练的 WideResNet50 生成的视觉显著性图来指导区域选择，提升定位精度。
• 通过置信度排序对候选区域进行精炼，基于得分选择 top-K 预测结果，减少噪声。
• 通过加权聚合方式结合多种提示信号，利用软投票机制生成最终的异常图。
• 采用提示正则化策略，避免模型微调，实现完全的零样本适应。

Figure 1 : Towards segmenting any anomaly without training, we first construct a vanilla baseline (Segment Any Anomaly, SAA) by prompting into a cascade of anomaly region generator ( e.g. , a prompt-guided object detection foundation model [ 2 ] ) and anomaly region refiner ( e.g. , a segmentation f

实验结果

研究问题

• RQ1 与朴素语言提示相比，多模态提示是否能显著降低零样本异常分割中的误报率？
• RQ2 由领域专家生成的提示（如特定缺陷描述）在提升定位精度方面效果如何？
• RQ3 图像上下文（如视觉显著性和置信度得分）在多大程度上能提升基础模型预测的鲁棒性？
• RQ4 结合多种提示模态是否能带来优于单一模态提示的泛化性能？
• RQ5 是否可通过以数据为中心的提示方法，在无需任何模型微调的情况下实现最先进性能？

主要发现

• SAA+ 在 VisA 上达到最大 F1-pixel 得分为 27.07，在 MVTec-AD 上为 39.40，显著优于 WinClip、ClipSeg 和 UTAD 等先前方法。
• 消融实验表明，移除任意一种提示类型（语言、属性、显著性、置信度）均导致性能下降，证实了各组件的贡献。
• 移除语言提示（w/o 𝒫ᴸ）在 VisA 上导致 3.78 分的下降，表明即使基础提示对基准定位也至关重要。
• 移除显著性提示（w/o 𝒫ˢ）在 MVTec-AD 上导致 7.68 分的下降，凸显空间上下文在异常检测中的重要性。
• 置信度提示的缺失（w/o 𝒫ᶜ）在 VisA 上性能下降最明显（从 27.07 降至 26.70），表明基于得分的过滤可显著提升预测可靠性。
• 定性结果表明，SAA+ 能够以高精度检测各类对象中的多样化异常类型，包括细微和复杂缺陷，且误报极少。

Figure 2 : Overview of the proposed Segment Any Anomaly + (SAA+) framework. We adapt foundation models to zero-shot anomaly segmentation via multimodal prompt regularization. In specific, apart from naive class-agnostic language prompts, the regularization comes from both domain expert knowledge, in