[论文解读] DFR: Deep Feature Reconstruction for Unsupervised Anomaly Segmentation

Jie Yang, Yong Shi+1 more|arXiv (Cornell University)|Dec 13, 2020

Anomaly Detection Techniques and Applications参考文献 35被引用 47

一句话总结

DFR 引入来自预训练 CNN 的多尺度区域特征生成器，以及一个卷积自编码器，用于在无监督的方式下检测和分割图像中的异常，包括非常小的区域。

ABSTRACT

Automatic detecting anomalous regions in images of objects or textures without priors of the anomalies is challenging, especially when the anomalies appear in very small areas of the images, making difficult-to-detect visual variations, such as defects on manufacturing products. This paper proposes an effective unsupervised anomaly segmentation approach that can detect and segment out the anomalies in small and confined regions of images. Concretely, we develop a multi-scale regional feature generator that can generate multiple spatial context-aware representations from pre-trained deep convolutional networks for every subregion of an image. The regional representations not only describe the local characteristics of corresponding regions but also encode their multiple spatial context information, making them discriminative and very beneficial for anomaly detection. Leveraging these descriptive regional features, we then design a deep yet efficient convolutional autoencoder and detect anomalous regions within images via fast feature reconstruction. Our method is simple yet effective and efficient. It advances the state-of-the-art performances on several benchmark datasets and shows great potential for real applications.

研究动机与目标

• 推动在小且受限的图像区域中出现的缺陷的鲁棒无监督异常分割。
• 提出一个多尺度区域特征生成器，从预训练的 CNNs 产生密集、具上下文感知的区域表示。
• 开发一个轻量级卷积自编码器，对区域特征进行重构并通过重构误差识别异常。
• 通过利用预训练特征和流水线的单次前向传播，实现高效推断。
• 在保持计算效率的同时，在基准数据集上展示最先进的性能。

提出的方法

• 从预训练的 CNN 中提取分层的多尺度特征，以捕捉局部和全局上下文。
• 对齐并聚合跨层的特征图，形成每个图像区域的密集多尺度区域表示。
• 在这些区域特征上训练卷积自编码器，仅学习正常区域的重构。
• 将区域级重构误差作为异常分数并对像素级地图进行上采样以进行分割。
• 基于可接受的误差率来确定自适应阈值，从而二值化异常图。

实验结果

研究问题

• RQ1 多尺度、区域聚焦的 CNN 特征能否提升无监督异常分割，尤其是对小缺陷？
• RQ2 用 CAE 重构深度特征表示是否能在训练阶段不含异常样本的情况下产生准确的像素级异常地图？
• RQ3 在标准基准上，所提出的 DFR 与现有的基于重构和基于特征的方法相比如何？
• RQ4 该方法在制造场景中的实际部署是否具备足够的计算效率？

主要发现

• 在 MVTec AD 数据集的多数对象和纹理类别上优于若干最先进的基线。
• 证明从预训练 CNN 获得的多尺度区域特征在融合与重构后可实现有效的异常定位。
• 该方法在单次前向传播并且训练复杂度更低的情况下，与 ST 模型相比在 ROC-AUC 和 PRO-AUC 指标上具有竞争力。
• 多尺度建模有助于性能提升，16-scale 表征取得了出色结果。
• 仅训练 CAE 而冻结预训练的 CNNs 使该方法在实际应用中高效且实用。