[论文解读] SPot-the-Difference Self-Supervised Pre-training for Anomaly Detection and Segmentation

Zou, Yang, Jongheon Jeong+3 more|arXiv (Cornell University)|Jul 28, 2022

Anomaly Detection Techniques and Applications被引用 15

一句话总结

本文提出SPot-the-Difference（SPD），一种自监督预训练方法，通过使用找不同损失对对比学习进行正则化，增强模型对异常检测的局部敏感性。同时，本文发布了VisA，目前最大的工业异常检测数据集（10,821张图像，1,200个异常），结果显示在2类高样本设置下，SPD相较于SimSiam提升AU-PR 5.9%，相较于有监督预训练提升6.8%。

ABSTRACT

Visual anomaly detection is commonly used in industrial quality inspection. In this paper, we present a new dataset as well as a new self-supervised learning method for ImageNet pre-training to improve anomaly detection and segmentation in 1-class and 2-class 5/10/high-shot training setups. We release the Visual Anomaly (VisA) Dataset consisting of 10,821 high-resolution color images (9,621 normal and 1,200 anomalous samples) covering 12 objects in 3 domains, making it the largest industrial anomaly detection dataset to date. Both image and pixel-level labels are provided. We also propose a new self-supervised framework - SPot-the-difference (SPD) - which can regularize contrastive self-supervised pre-training, such as SimSiam, MoCo and SimCLR, to be more suitable for anomaly detection tasks. Our experiments on VisA and MVTec-AD dataset show that SPD consistently improves these contrastive pre-training baselines and even the supervised pre-training. For example, SPD improves Area Under the Precision-Recall curve (AU-PR) for anomaly segmentation by 5.9% and 6.8% over SimSiam and supervised pre-training respectively in the 2-class high-shot regime. We open-source the project at http://github.com/amazon-research/spot-diff .

研究动机与目标

• 为解决工业表面缺陷检测中异常数据有限的挑战，开发一种增强对缺陷局部敏感性的自监督预训练方法。
• 构建一个大规模、高分辨率、多领域的工业异常数据集，包含图像级与像素级标注，以支持稳健的基准测试。
• 通过一种新颖的对比自监督框架，在低样本和2类异常检测设置中提升泛化能力与性能。
• 证明SPD在多个基准和主干网络架构上均优于对比学习与有监督预训练方法。

提出的方法

• 提出一种找不同（SPD）损失，促使模型检测增强图像视图之间的微小局部差异，从而提升对小缺陷的敏感性。
• 使用SmoothBlend增强方法生成具有局部差异的合成图像对，于预训练阶段模拟真实世界中的异常。
• 将SPD损失作为正则项，与现有的对比自监督方法（如SimSiam、MoCo、SimCLR）结合使用。
• 将SPD正则化的表征应用于下游异常检测与分割任务，采用SOTA方法如PaDiM与PatchCore。
• 引入可学习超参数η，用于在预训练过程中平衡SPD损失与主对比目标。
• 在两个基准上验证方法：新发布的VisA与MVTec-AD，在1类与2类训练范式下进行评估。

实验结果

研究问题

• RQ1 一种强调局部差异的自监督预训练方法，是否能相比标准对比学习或有监督预训练，提升异常检测性能？
• RQ2 所提出的SPD框架是否能在不同主干网络与下游异常检测架构中实现良好泛化？
• RQ3 在异常数据可用的低样本与2类设置下，SPD方法表现如何？
• RQ4 SPD正则化的表征是否能同时提升异常的分类与像素级分割性能？
• RQ5 SPD方法是否也能提升标准ImageNet分类任务的泛化能力，表明其具备更广泛的应用潜力？

主要发现

• 在VisA的2类高样本设置下，SPD相较于SimSiam将异常分割的AU-PR提升5.9%，相较于有监督预训练提升6.8%。
• 在VisA上，当应用于有监督ImageNet预训练时，SPD使分类与分割的AU-PR分别提升0.5%与0.9%。
• SPD在多个对比基线方法（SimSiam、MoCo、SimCLR）与主干网络（ResNet-50、Wide ResNet-50）上均持续提升性能。
• 当η=0.1时，SPD损失表现最佳，因此被选为默认超参数设置。
• SPD使ResNet-18的ImageNet top-1准确率提升0.4%，ResNet-50提升0.3%，表明其优势不仅限于异常检测任务。
• 定性分析显示，SPD增强了GradCAM注意力图，使模型更聚焦于局部缺陷，相比标准预训练更具针对性。