[论文解读] Deep Nearest Neighbor Anomaly Detection

Liron Bergman, Niv Cohen+1 more|arXiv (Cornell University)|Feb 24, 2020

Anomaly Detection Techniques and Applications参考文献 26被引用 108

一句话总结

该论文表明，使用 Imagenet 预训练 ResNet 特征（DN2）的简单 kNN 异常检测器在单模态、多模态、无监督和分组异常任务中均超越了最先进的自监督和深度方法，样本复杂度低且无需训练阶段。

ABSTRACT

Nearest neighbors is a successful and long-standing technique for anomaly detection. Significant progress has been recently achieved by self-supervised deep methods (e.g. RotNet). Self-supervised features however typically under-perform Imagenet pre-trained features. In this work, we investigate whether the recent progress can indeed outperform nearest-neighbor methods operating on an Imagenet pretrained feature space. The simple nearest-neighbor based-approach is experimentally shown to outperform self-supervised methods in: accuracy, few shot generalization, training time and noise robustness while making fewer assumptions on image distributions.

研究动机与目标

• 以预训练特征和 kNN 为基础，推动一个简单而强大的图像异常检测基线。
• 展示 DN2 在半监督、无监督和分组异常设置下的性能。
• 显示对训练数据中污染、数据集规模较小以及不同于 Imagenet 的数据分布的鲁棒性。
• 将 DN2 与自监督和基于深度学习的异常检测器进行比较。
• 提供关于何时以及如何应用 DN2（及其局限性）的实际指导。

提出的方法

• 使用预训练特征提取器（Imagenet 预训练的 ResNet）对所有图像进行嵌入。
• 在特征空间中计算 k 最近邻距离作为异常分数。
• 对于半监督：通过对训练嵌入的 kNN 距离进行阈值化来进行分类。
• 对于无监督：在重新运行 DN2 之前通过去除高密度异常图像来执行清洗阶段。
• 对于分组异常检测：通过取平均在集合内汇聚图像特征，并对组嵌入应用 DN2。
• 讨论通过对训练特征进行聚类来获得近似 kNN 检索的实际加速方法。

实验结果

研究问题

• RQ1 在预训练图像特征上使用 kNN 是否优于自监督和基于深度特征的方法在异常检测中的表现？
• RQ2 DN2 在半监督、无监督和分组异常设置下的表现如何？
• RQ3 网络深度、邻居数量和数据不变性对 DN2 性能的影响是什么？
• RQ4 DN2 是否在小型训练集和多样化图像领域中也有效？
• RQ5 DN2 能否对有噪声或污染的训练数据具有鲁棒性？

主要发现

• DN2 常常在多个数据集（如 CIFAR10、Fashion-MNIST、CIFAR100）上超过最先进的异常检测方法。
• 使用 Imagenet 预训练的 ResNet 特征在特征空间中提供强局部性，帮助基于 kNN 的检测。
• 更深的网络提升 DN2 性能；通常两个邻居就足以达到最佳 ROCAUC。
• DN2 在非常小的训练集上仍然有效，与一些自监督基线不同。
• 在无监督 DN2 之前的清洗阶段可显著缓解训练数据污染带来的性能损失。
• 通过在应用 DN2 之前对组特征进行均值汇聚，在分组异常检测中 DN2 表现出色；优于简单拼接基线。