[论文解读] Anomaly Detection with Conditioned Denoising Diffusion Models

Arian Mousakhan, Thomas Brox+1 more|arXiv (Cornell University)|May 25, 2023

Anomaly Detection Techniques and Applications被引用 32

一句话总结

DDAD 引入了一种有条件的去噪扩散框架，在输入目标引导下重建无异常的图像，从而实现像素级和特征级的异常定位，以及领域自适应特征提取，在 MVTec、VisA 和 MTD 上达到最先进的结果。

ABSTRACT

Traditional reconstruction-based methods have struggled to achieve competitive performance in anomaly detection. In this paper, we introduce Denoising Diffusion Anomaly Detection (DDAD), a novel denoising process for image reconstruction conditioned on a target image. This ensures a coherent restoration that closely resembles the target image. Our anomaly detection framework employs the conditioning mechanism, where the target image is set as the input image to guide the denoising process, leading to a defectless reconstruction while maintaining nominal patterns. Anomalies are then localised via a pixel-wise and feature-wise comparison of the input and reconstructed image. Finally, to enhance the effectiveness of the feature-wise comparison, we introduce a domain adaptation method that utilises nearly identical generated examples from our conditioned denoising process to fine-tune the pretrained feature extractor. The veracity of DDAD is demonstrated on various datasets including MVTec and VisA benchmarks, achieving state-of-the-art results of \(99.8 \%\) and \(98.9 \%\) image-level AUROC respectively.

研究动机与目标

• 激发基于重建的异常检测，并解决先前方法在重建质量和名义分布覆盖方面的局限性。
• 提出一种用于扩散式重建的条件化机制，让去噪朝向目标图像以去除异常。
• 将像素级和特征级比较相结合，以准确检测和定位异常。
• 引入一种无监督的领域自适应技术，使特征提取器能够适应问题领域。
• 在工业异常数据集（MVTec、VisA）和新数据集（MTD）上证明SOTA性能。

提出的方法

• 为重建开发一个有条件的去噪过程，其中目标图像 y 指导对扰动输入 x_t 的去噪，朝向名义重建 x_0。
• 将后验得分梯度 ∇_{x_t} log p_theta(x_t|y_t) 公式化为无条件得分与似然校正项之和，并引入条件权重 w。
• 使用修改后的 epsilon_hat 更新去噪器预测，以产生 x_{t-1}，该 epsil o_hat 考虑到差异 y_t−x_t（方程式 7）。
• 通过将目标 y 设置为输入 x 并重建无异常版本来执行异常检测；通过像素距离 D_p 和特征距离 D_f（基于余弦）的方式在 x_0 和 y 之间定位异常。
• 将像素级和特征级距离融合为最终异常分数 D_anomaly，以实现鲁棒定位。
• 应用无监督领域自适应（和蒸馏）以通过最小化重建图像与目标图像之间的特征距离来定制预训练的特征提取器到目标领域，并采用蒸馏损失以防止遗忘。

Figure 1 : Our approach achieves defect-free reconstruction of input images that are devoid of anomalies. An accurate anomaly detection heatmap is computed. Note that reconstructions are analogous to the expected nominal approximation of the input. In the category of cables, an incorrectly placed gr

实验结果

研究问题

• RQ1 条件化扩散式重建对目标图像是否能改善无异常修复，从而提升异常检测性能？
• RQ2 将像素级与特征级比较结合起来是否能提高异常定位的准确性？
• RQ3 无监督领域自适应特征提取器是否能进一步提升面向行业数据的检测与定位？
• RQ4 在标准基准（MVTec、VisA）及额外数据集（MTD）上，DDAD 相比最先进方法的性能如何？

主要发现

• DDAD 在经过领域自适应和特征融合后，在图像级 AUROC 上达到 99.8%（MVTec）和 98.9%（VisA）。
• 对扩散过程进行条件化后，相较于无条件去噪并带有像素级引导，MVTec 的图像 AUROC 从 85.7% 提升至 92.4%，VisA 的图像 AUROC 从 87.0% 提升至 94.1%。
• 特征提取器的领域自适应在 MVTec/VisA 数据集上，特征分支的异常检测提升 8.2%，定位提升 4.8%。
• 将像素级和特征级比较结合再加上条件化，达到更优的定位，DDAD 在报告的基准上超过了基于重建和基于表示的基线。
• 紧凑版本 DDAD-S（约 8M 参数）保持竞争性能并实现更快推理，适合边缘部署。
• 在 MTD 上，DDAD-10 实现 98.3% 的图像 AUROC，显示出对单类别缺陷数据集的强大泛化能力。

Figure 2 : Framework of DDAD . After a denoising U-Net has been trained, the feature extractor is adapted to the problem domain by minimising the distance between the extracted features of a target image and a generated image which resembles the target image. At inference time, after perturbing the