[论文解读] Anomaly Detection in Images

Manpreet Singh Minhas, John Zelek|arXiv (Cornell University)|May 9, 2019

Anomaly Detection Techniques and Applications参考文献 15被引用 14

一句话总结

本文提出了一种基于预训练卷积神经网络（CNNs）的新型网络化深度迁移学习方法，用于图像异常检测，将其视为一个监督二分类问题。通过在有限的正常数据上微调DenseNet-169、ResNet-152和Inception-V4等模型，该方法在基准测试中实现了最先进性能，平均AUC达到0.99，相较于先前方法在CIFAR10上的表现最高提升41%。

ABSTRACT

Visual defect assessment is a form of anomaly detection. This is very relevant in finding faults such as cracks and markings in various surface inspection tasks like pavement and automotive parts. The task involves detection of deviation/divergence of anomalous samples from the normal ones. Two of the major challenges in supervised anomaly detection are the lack of labelled training data and the low availability of anomaly instances. Semi-supervised methods which learn the underlying distribution of the normal samples and then measure the deviation/divergence from the estimated model as the anomaly score have limitations in their overall ability to detect anomalies. This paper proposes the application of network-based deep transfer learning using convolutional neural networks (CNNs) for the task of anomaly detection. Single class SVMs have been used in the past with some success, however we hypothesize that deeper networks for single class classification should perform better. Results obtained on established anomaly detection benchmarks as well as on a real-world dataset, show that the proposed method clearly outperforms the existing state-of-the-art methods, by achieving a staggering average area under the receiver operating characteristic curve value of 0.99 for the tested data-sets which is an average improvement of 41% on the CIFAR10, 20% on MNIST and 16% on Cement Crack data-sets.

研究动机与目标

• 解决图像异常检测中异常训练样本稀缺的挑战。
• 通过利用深度CNN的迁移学习，克服半监督和无监督方法的局限性。
• 证明在小规模正常图像上微调预训练CNN可实现卓越的异常检测性能。
• 通过迁移学习建立图像异常检测的新SOTA基准。
• 在标准基准和真实世界沥青路面病害数据集上验证该方法。

提出的方法

• 从ImageNet中选择预训练的CNN架构（如DenseNet-169、ResNet-152、Inception-V4）作为迁移学习的源模型。
• 将预训练网络的特征提取主干作为固定编码器，从正常图像中提取深层特征。
• 在小规模、平衡的正常与异常图像数据集上微调网络的最终分类头。
• 使用二元交叉熵损失函数进行模型训练，以区分正常与异常样本。
• 利用最后一层的logits或特征表示，通过学习到的阈值计算异常得分。
• 对异常得分应用阈值，将测试样本分类为正常或异常。

实验结果

研究问题

• RQ1 基于预训练CNN的网络化深度迁移学习是否能在图像异常检测中超越现有SOTA方法？
• RQ2 在低数据环境下，不同CNN架构（如DenseNet-169、ResNet-152、Inception-V4）在异常检测中的性能表现如何比较？
• RQ3 迁移学习在多大程度上可缓解图像异常检测中异常训练样本稀缺的挑战？
• RQ4 所提出的方法是否能良好泛化到标准基准之外的真实世界数据集？
• RQ5 在有限正常数据上进行微调，如何影响模型检测多样化异常类型的能力？

主要发现

• 所提方法在所有测试数据集上的平均受试者工作特征曲线下面积（AUC）达到0.99，显著优于先前SOTA方法。
• 在CIFAR10数据集上，与先前SOTA方法（GANomaly）相比，AUC提升达41%，其中DenseNet-169在'car'类别上达到0.9989的AUC。
• 在MNIST数据集上，所有数字的AUC均超过0.99，其中DenseNet-169在数字'9'上达到0.999386，较GANomaly提升41%。
• 在真实世界的Cement Crack数据集中，DenseNet-169实现AUC 0.999998和F1分数95%，混淆矩阵近乎完美，仅在4,000个异常中出现7个假阴性。
• ResNet-152和Inception-V4在Cement Crack数据集中也实现近乎完美的性能，AUC分别为0.999986和0.998462。
• 即使每类仅使用2,000张正常图像，该方法仍保持高性能，展现出对低数据环境的强鲁棒性。