[论文解读] DeSTSeg: Segmentation Guided Denoising Student-Teacher for Anomaly Detection

Xuan Zhang, Shiyu Li+4 more|arXiv (Cornell University)|Nov 21, 2022

Anomaly Detection Techniques and Applications被引用 4

一句话总结

DeSTSeg 提出了一种去噪学生-教师框架用于异常检测，通过训练学生网络从合成损坏的输入中重建干净特征，同时使用可训练的分割网络自适应融合多层级特征差异，从而增强特征判别能力。该方法在 MVTec AD 基准测试中实现了最先进性能，图像级 AUC 达 98.6%，像素级 AP 为 75.8%，实例级 AP 为 76.4%。

ABSTRACT

Visual anomaly detection, an important problem in computer vision, is usually formulated as a one-class classification and segmentation task. The student-teacher (S-T) framework has proved to be effective in solving this challenge. However, previous works based on S-T only empirically applied constraints on normal data and fused multi-level information. In this study, we propose an improved model called DeSTSeg, which integrates a pre-trained teacher network, a denoising student encoder-decoder, and a segmentation network into one framework. First, to strengthen the constraints on anomalous data, we introduce a denoising procedure that allows the student network to learn more robust representations. From synthetically corrupted normal images, we train the student network to match the teacher network feature of the same images without corruption. Second, to fuse the multi-level S-T features adaptively, we train a segmentation network with rich supervision from synthetic anomaly masks, achieving a substantial performance improvement. Experiments on the industrial inspection benchmark dataset demonstrate that our method achieves state-of-the-art performance, 98.6% on image-level AUC, 75.8% on pixel-level average precision, and 76.4% on instance-level average precision.

研究动机与目标

• 为解决现有学生-教师框架在缺乏对异常的显式约束条件下，难以生成异常样本判别性特征的局限性。
• 通过用可训练的分割网络替代经验性聚合方法，改进异常检测中的多层级特征融合。
• 通过引入基于合成异常的去噪训练目标，提升模型鲁棒性与表征学习能力。
• 在图像级、像素级和实例级异常检测基准上均实现最先进性能。

提出的方法

• 训练一个去噪学生编码器-解码器网络，利用合成损坏的正常图像作为输入，从教师网络中重建干净特征。
• 学生网络通过最小化其输出与同一图像下教师输出之间的特征差异进行训练，从而有效学习去噪特征。
• 使用来自合成异常掩码的丰富监督信号，训练分割网络以自适应融合来自学生-教师网络的多层级特征差异。
• 分割网络的输入为学生与教师网络输出的归一化特征图的逐元素乘积，以平衡特征信息与先验知识。
• 分割网络使用 L1 损失监督异常得分图的预测，提升定位精度。
• 整个框架将预训练教师网络、去噪学生网络与可训练分割头整合为端到端训练流程。

实验结果

研究问题

• RQ1 在学生-教师框架中，去噪训练目标是否能提升正常与异常样本之间的特征判别能力？
• RQ2 用可训练的分割网络替代经验性多层级特征融合，是否能带来更优的异常定位效果？
• RQ3 使用合成异常掩码监督分割网络，在性能提升方面有多有效？
• RQ4 各组件——去噪训练、编码器-解码器结构与分割头——对整体性能的贡献分别是什么？

主要发现

• DeSTSeg 在 MVTec AD 基准测试中实现 98.6% 的图像级 AUC，相比之前最先进方法提升 0.1%。
• 该方法实现 75.8% 的像素级平均精度，较之前 SOTA 提升 5.6%。
• 实例级平均精度达到 76.4%，相比之前最佳方法提升 4.9%。
• 消融实验表明，结合去噪训练、编码器-解码器结构与分割头可获得最佳性能。
• 在分割头中使用 L1 损失可提升性能，使用时 AUC 达 98.6%，AP 达 75.8%。
• 将归一化 S-T 特征的逐元素乘积作为分割网络输入，相比拼接或余弦距离更有效。