[论文解读] MemSeg: A semi-supervised method for image surface defect detection using differences and commonalities

Minghui Yang, Peng Wu+2 more|arXiv (Cornell University)|May 2, 2022

Industrial Vision Systems and Defect Detection被引用 8

一句话总结

MemSeg 提出了一种端到端、基于记忆增强的弱监督深度学习框架，用于工业表面缺陷检测，该框架利用正常样本与模拟异常样本之间的差异以及存储在记忆库中的共性。在 MVTec AD 数据集上，其在图像级别达到 99.56% 的 AUC，在像素级别达到 98.84% 的 AUC，性能达到当前最先进水平，同时由于其高效、端到端的设计，实现了实时推理。

ABSTRACT

Under the semi-supervised framework, we propose an end-to-end memory-based segmentation network (MemSeg) to detect surface defects on industrial products. Considering the small intra-class variance of products in the same production line, from the perspective of differences and commonalities, MemSeg introduces artificially simulated abnormal samples and memory samples to assist the learning of the network. In the training phase, MemSeg explicitly learns the potential differences between normal and simulated abnormal images to obtain a robust classification hyperplane. At the same time, inspired by the mechanism of human memory, MemSeg uses a memory pool to store the general patterns of normal samples. By comparing the similarities and differences between input samples and memory samples in the memory pool to give effective guesses about abnormal regions; In the inference phase, MemSeg directly determines the abnormal regions of the input image in an end-to-end manner. Through experimental validation, MemSeg achieves the state-of-the-art (SOTA) performance on MVTec AD datasets with AUC scores of 99.56% and 98.84% at the image-level and pixel-level, respectively. In addition, MemSeg also has a significant advantage in inference speed benefiting from the end-to-end and straightforward network structure, which better meets the real-time requirement in industrial scenarios.

研究动机与目标

• 通过利用弱监督学习，解决工业表面缺陷检测中标注缺陷数据有限的挑战。
• 通过显式建模正常样本与模拟异常样本之间的差异，提升检测的鲁棒性。
• 通过记忆库存储并比较正常样本的一般性模式，增强特征表示能力。
• 通过端到端、轻量化的网络架构，实现实时推理，适用于工业部署。

提出的方法

• MemSeg 在训练过程中引入人工模拟的异常样本，以显式学习正常与缺陷模式之间的判别性差异。
• 它采用记忆库来存储正常样本的特征表示，模拟人类记忆在模式识别中的作用。
• 在推理阶段，模型将输入特征与存储的记忆特征进行比较，基于低相似度和高不相似度检测异常。
• 网络通过对比损失进行端到端训练，以促进正常与异常特征之间的分离。
• 通过基于动量的编码方式，动态更新记忆库，以保持稳定且具有代表性的正常模式。
• 该架构设计注重效率，支持快速推理，对实时工业应用至关重要。

实验结果

研究问题

• RQ1 弱监督框架能否仅使用少量标注的缺陷样本，有效检测表面缺陷？
• RQ2 正常样本与模拟异常样本之间的差异，如何提升缺陷检测中的模型泛化能力？
• RQ3 正常模式的记忆库在多大程度上能提升异常定位与检测性能？
• RQ4 端到端、基于记忆增强的网络能否在工业环境中同时实现高精度与实时推理？

主要发现

• MemSeg 在 MVTec AD 基准测试中实现了 99.56% 的最先进图像级别 AUC。
• 其像素级别 AUC 达到 98.84%，表明缺陷区域的定位极为精确。
• 该方法在检测准确率和推理速度方面，显著优于现有的弱监督方法。
• 端到端的设计支持实时推理，使其适用于工业部署。
• 记忆库的使用通过捕捉并比较一般性正常模式，提升了检测的鲁棒性。
• 即使在标注缺陷数据有限的情况下，模型仍保持高性能，验证了其在低资源环境下的有效性。