[论文解读] APRIL-GAN: A Zero-/Few-Shot Anomaly Classification and Segmentation Method for CVPR 2023 VAND Workshop Challenge Tracks 1&2: 1st Place on Zero-shot AD and 4th Place on Few-shot AD
这项工作对 CLIP 进行了改造,增加线性映射和记忆库,以实现零样本/少样本的异常分类与分割,在 VAND Challenge 中实现零样本排名第一并在少样本分类方面表现出色。
In this technical report, we briefly introduce our solution for the Zero/Few-shot Track of the Visual Anomaly and Novelty Detection (VAND) 2023 Challenge. For industrial visual inspection, building a single model that can be rapidly adapted to numerous categories without or with only a few normal reference images is a promising research direction. This is primarily because of the vast variety of the product types. For the zero-shot track, we propose a solution based on the CLIP model by adding extra linear layers. These layers are used to map the image features to the joint embedding space, so that they can compare with the text features to generate the anomaly maps. Besides, when the reference images are available, we utilize multiple memory banks to store their features and compare them with the features of the test images during the testing phase. In this challenge, our method achieved first place in the zero-shot track, especially excelling in segmentation with an impressive F1 score improvement of 0.0489 over the second-ranked participant. Furthermore, in the few-shot track, we secured the fourth position overall, with our classification F1 score of 0.8687 ranking first among all participating teams.
研究动机与目标
- 在工业异常检测中实现对多种产品类别的快速适应,而无需对每个类别进行大量数据收集。
- 利用 CLIP 的语言–视觉对齐来指导零样本异常分类与分割。
- 通过逐阶段的特征映射将其整合到一个联合嵌入空间以增强定位。
- 在少样本设定中,利用参考图像通过记忆库来提升检测,同时保留零样本组件。
提出的方法
- 以 CLIP 为基础,使零样本分类与分割成为可能。
- 增加每阶段线性映射,将图像特征映射到文本–图像相似度的联合嵌入空间。
- 通过浅层和深层阶段的特征融合,利用逐阶段与文本特征的相似性生成异常图(方程3)。
- 使用文本提示集合(状态级和模板级)来获得鲁棒的异常描述文本特征。
- 在少样本中,保持线性层权重并在每个编码阶段将参考特征存储在记忆库以便测试时对比(方程4)。
- 仅对新增的线性层进行训练,使用 focal+Dice 损失,而 freezes CLIP。
实验结果
研究问题
- RQ1是否可以将基于 CLIP 的框架扩展为工业图像中的零样本异常检测与分割?
- RQ2是否通过阶段性特征映射和文本提示集合提高零样本异常检测的性能?
- RQ3记忆库驱动的记忆增强在不对映射层进行微调的情况下是否能提升少样本异常分割?
- RQ4所提出的方法在标准异常检测数据集(MVTec AD、VisA)及 VAND 测试集中表现如何?
主要发现
- 在零样本 VAND 中,APRIL-GAN 实现分割 F1 最大值 0.3431、分类 F1 最大值 0.7782,排名第一。
- 在少样本 VAND 中,方法在分类上达到 F1 最大值 0.8687(团队第一),分割 F1 最大值 0.4264。
- 在 MVTec AD 零样本上,分割 AUROC 为 87.6、分割 F1 最大值为 43.3;我们的方法在 AUROC-分割与 F1-分割方面分别比 WinCLIP 高出约 2.5 与 11.6 点。
- 在 VisA 零样本上,AUROC-分割约为 95.5(见下文注释)且分割 F1 最大值为 32.3,显示出强的零样本分割;分类指标接近顶尖水平。
- 在 VisA 少样本上,APRIL-GAN 展现出强分类性能,在使用记忆库时对 PRO-分割有显著提升。
- 在零/少样本设置中,多阶段特征映射和记忆库有助于实现更精确的异常定位并降低误报。
阅读本论文
在 Nubint 阅读器中打开原文,边读边就任意段落提问。
在 Nubint 中阅读本论文本解读由 AI 根据论文原文生成,引用前请核对原文。