[论文解读] Data refinement for fully unsupervised visual inspection using pre-trained networks

Antoine Cordier, Benjamin Missaoui+1 more|arXiv (Cornell University)|Feb 25, 2022

Industrial Vision Systems and Defect Detection被引用 8

一句话总结

本文提出SROC，一种基于预训练网络的完全无监督视觉异常检测的简单而有效的数据精炼策略。通过迭代识别并从污染的训练集中移除缺陷样本，SROC成功恢复了显著的性能——超越了如STOC等复杂基线方法。同时表明，由于嵌入空间分布特性，基于KNN的方法在数据污染下天然比基于马氏距离的方法更具鲁棒性。

ABSTRACT

Anomaly detection has recently seen great progress in the field of visual inspection. More specifically, the use of classical outlier detection techniques on features extracted by deep pre-trained neural networks have been shown to deliver remarkable performances on the MVTec Anomaly Detection (MVTec AD) dataset. However, like most other anomaly detection strategies, these pre-trained methods assume all training data to be normal. As a consequence, they cannot be considered as fully unsupervised. There exists to our knowledge no work studying these pre-trained methods under fully unsupervised setting. In this work, we first assess the robustness of these pre-trained methods to fully unsupervised context, using polluted training sets (i.e. containing defective samples), and show that these methods are more robust to pollution compared to methods such as CutPaste. We then propose SROC, a Simple Refinement strategy for One Class classification. SROC enables to remove most of the polluted images from the training set, and to recover some of the lost AUC. We further show that our simple heuristic competes with, and even outperforms much more complex strategies from the existing literature.

研究动机与目标

• 评估在训练数据可能包含缺陷样本的完全无监督设置下，基于预训练特征的异常检测方法的鲁棒性。
• 通过在真正无监督的上下文中研究预训练方法在污染数据中的表现，弥补现有文献的空白。
• 提出一种简单且与方法无关的精炼策略（SROC），通过从训练集中移除缺陷样本以恢复性能。
• 提供对为何某些方法（如KNN）比其他方法（如马氏距离）对数据污染更具鲁棒性的定性和定量洞察。

提出的方法

• SROC利用异常检测器自身，基于预训练特征的异常得分对训练样本进行评分和排序。
• 它迭代地从训练集中移除异常得分最高的最异常样本（即最异常的样本）。
• 然后使用相同的检测器对精炼后的训练集重新评估，以衡量性能的提升。
• 该方法应用于四种基于预训练特征的检测器：KNN、马氏距离、PaDiM和PatchCore，所有方法均使用EfficientNet-B4作为主干网络。
• 该方法设计为与下游异常检测方法无关，具有广泛的适用性。
• 其核心利用了缺陷样本在嵌入空间中通常远离健康样本的特性，从而实现有效隔离与移除。

实验结果

研究问题

• RQ1 在完全无监督设置下，当训练数据包含缺陷样本时，基于预训练特征的异常检测方法对数据污染的鲁棒性如何？
• RQ2 是否可以通过一种简单、基于启发式的精炼策略，有效恢复因数据污染而在无监督视觉检测中损失的性能？
• RQ3 为何基于KNN的方法比基于马氏距离的方法对数据污染更具鲁棒性？
• RQ4 SROC是否在恢复污染数据集上的AUC方面优于更复杂的精炼策略（如STOC）？
• RQ5 该精炼策略是否可泛化至不同异常检测方法，而无需进行方法特定的调优？

主要发现

• 当训练数据包含最多20%的缺陷样本时，SROC在MVTec AD数据集上成功恢复了高达80%的最大可实现AUC。
• 由于缺陷嵌入在特征空间中具有稀疏性，KNN和PatchCore对数据污染的鲁棒性显著优于马氏距离和PaDiM。
• 在嵌入空间中，缺陷样本与彼此之间的平均距离，与它们与健康样本之间的平均距离相当，这解释了近邻方法的鲁棒性。
• SROC优于复杂的STOC策略（该策略专为CutPaste设计），表明在精炼任务中，简单性可以匹配甚至超越复杂性。
• 基于马氏距离的方法在数据污染下表现出显著的性能下降，因为缺陷样本会向学习到的多元高斯分布中心靠拢。
• 定性分析确认，马氏距离分布受污染后发生显著偏移，而基于KNN的方法则保持了稳定的邻域结构。