[论文解读] Benchmarking Unsupervised Anomaly Detection and Localization

Zheng Ye, Xiang Wang+3 more|arXiv (Cornell University)|May 30, 2022

Anomaly Detection Techniques and Applications被引用 7

一句话总结

本文针对 MVTec AD 和 MVTec 3D-AD 数据集中的无监督异常检测与定位方法进行了全面的基准测试，评估了性能、推理效率以及标签模糊性。研究发现，PatchCore 和 PaDim 分别在像素级和图像级异常定位中达到最先进水平，且现有 2D 方法仅使用 RGB 输入即可在 3D 数据上实现良好泛化。

ABSTRACT

Unsupervised anomaly detection and localization, as of one the most practical and challenging problems in computer vision, has received great attention in recent years. From the time the MVTec AD dataset was proposed to the present, new research methods that are constantly being proposed push its precision to saturation. It is the time to conduct a comprehensive comparison of existing methods to inspire further research. This paper extensively compares 13 papers in terms of the performance in unsupervised anomaly detection and localization tasks, and adds a comparison of inference efficiency previously ignored by the community. Meanwhile, analysis of the MVTec AD dataset are also given, especially the label ambiguity that affects the model fails to achieve full marks. Moreover, considering the proposal of the new MVTec 3D-AD dataset, this paper also conducts experiments using the existing state-of-the-art 2D methods on this new dataset, and reports the corresponding results with analysis.

研究动机与目标

• 在 MVTec AD 数据集上，对 13 种最先进无监督异常检测与定位方法进行全面、可复现的对比。
• 评估关键 SOTA 方法的推理效率，这一因素在社区中此前被忽视。
• 识别并分析 MVTec AD 数据集中限制模型性能的标签模糊性。
• 在新提出的 MVTec 3D-AD 数据集上，仅使用 RGB 数据评估 2D SOTA 方法的可迁移性。

提出的方法

• 使用标准指标（图像级 AUC 和像素级 PRO）在 MVTec AD 数据集上对 13 种无监督异常检测与定位方法进行广泛评估。
• 引入推理时间测量，以比较不同方法之间的计算效率。
• 通过人工检查与修正 MVTec AD 数据集中模糊的标注，以评估其对模型性能的影响。
• 将 2D SOTA 方法（如 PatchCore、PaDim、FastFlow）适配至 3D-AD 数据集，仅使用 RGB 输入，不采用 3D 特定架构。
• 在三种设置下训练与推理模型：仅 3D、3D+RGB 和仅 RGB，以评估模态敏感性。
• 采用基于重建与基于表征的两种主流范式作为所评估方法的核心框架。

实验结果

研究问题

• RQ1 在 MVTec AD 基准上，现有无监督异常检测与定位方法在准确率与推理效率方面如何比较？
• RQ2 MVTec AD 数据集中的标签模糊性在多大程度上阻碍了模型达到完美性能？
• RQ3 当仅使用 RGB 数据时，最先进 2D 异常检测方法在 3D 异常检测任务中是否能有效泛化？
• RQ4 在 MVTec 3D-AD 数据集上，2D 与 3D 方法之间存在多大的性能差距？哪些模态组合能取得最佳结果？

主要发现

• PatchCore 在 MVTec 3D-AD 数据集上实现了最高的像素级异常定位性能（PRO 得分为 0.930），优于其他方法。
• PaDim 在 MVTec 3D-AD 数据集上实现了最佳图像级异常检测 AUC（0.980），表明其对 3D 数据具有强大的泛化能力。
• 在修正 MVTec AD 数据集中的标签模糊性后，最先进方法的性能接近满分，表明标注质量对评估结果有显著影响。
• 多种 2D SOTA 方法（包括 PatchCore 和 FastFlow）在仅使用 RGB 数据时，于 MVTec 3D-AD 数据集上实现了高性能（AUC > 0.93），表明其具有强大的可迁移性。
• 不同方法的推理效率差异显著，FastFlow 和 CFlow 是其中最快的方法，凸显了效率在实际部署中的重要性。
• 在 MVTec 3D-AD 数据集上，仅使用 RGB 输入时的平均性能最高，表明 3D 几何信息并非始终对高性能必要。