[论文解读] Do We Really Need to Learn Representations from In-domain Data for Outlier Detection?

Zhisheng Xiao, Qing Yan+1 more|arXiv (Cornell University)|May 19, 2021

Anomaly Detection Techniques and Applications参考文献 84被引用 6

一句话总结

本论文表明，预训练的ImageNet表征——特别是通过自监督学习获得的表征——可在无需在源域数据上微调的情况下，作为异常检测的通用特征提取器。仅使用一个预训练的神经网络和简单的参数化检测器（如特征空间中的马氏距离），该方法在多个基准测试中实现了具有竞争力或更优的性能，挑战了任务特定表征学习的必要性。

ABSTRACT

Unsupervised outlier detection, which predicts if a test sample is an outlier or not using only the information from unlabelled inlier data, is an important but challenging task. Recently, methods based on the two-stage framework achieve state-of-the-art performance on this task. The framework leverages self-supervised representation learning algorithms to train a feature extractor on inlier data, and applies a simple outlier detector in the feature space. In this paper, we explore the possibility of avoiding the high cost of training a distinct representation for each outlier detection task, and instead using a single pre-trained network as the universal feature extractor regardless of the source of in-domain data. In particular, we replace the task-specific feature extractor by one network pre-trained on ImageNet with a self-supervised loss. In experiments, we demonstrate competitive or better performance on a variety of outlier detection benchmarks compared with previous two-stage methods, suggesting that learning representations from in-domain data may be unnecessary for outlier detection.

研究动机与目标

• 探究从源域数据中学习任务特定表征是否对有效无监督异常检测真正必要。
• 评估在无需对目标源域数据进行任何适配的情况下，基于ImageNet预训练的通用特征提取器在多样化异常检测基准上的性能。
• 建立一个简单、零成本的异常检测基线，避免在源域数据上进行昂贵的表征学习。
• 评估在使用预训练特征时，输入预处理方式和特征空间异常检测方法对性能的影响。

提出的方法

• 使用一个在ImageNet上通过自监督对比学习训练的单一预训练深度神经网络（如MoCo、SimCLR）作为通用特征提取器。
• 对输入图像应用固定、预训练的特征提取器，而无需任何微调，无论源域数据来源如何。
• 采用输入预处理，包括双三次上采样（从32×32上采样至224×224）以匹配ImageNet的输入尺寸，并对上采样方法进行消融研究。
• 在特征空间中应用基于马氏距离的异常检测器，采用共享协方差矩阵，因其在性能与效率之间实现了良好平衡。
• 对输入扰动（ε=0.01）和检测器超参数进行消融研究，但因推理成本较高，扰动在主实验中被排除。
• 使用标准异常检测指标（AUROC）在多个基准（如CIFAR-10、SVHN、Tiny ImageNet）上评估性能。

实验结果

研究问题

• RQ1 在未对源域数据进行任何微调的情况下，ImageNet预训练表征能否实现具有竞争力的异常检测性能？
• RQ2 与需要源域表征学习的最先进两阶段方法相比，通用预训练特征提取器的性能如何？
• RQ3 在使用预训练特征时，输入预处理方式（如上采样方法）对最终异常检测性能有何影响？
• RQ4 在使用预训练特征时，特征空间中异常检测器的选择（如参数化与非参数化）是否会影响性能？
• RQ5 推理过程中进行输入扰动是否有利于性能提升？其带来的计算成本增加是否值得？

主要发现

• 所提方法在无需对源域数据进行任何训练的情况下，于多个异常检测基准上实现了最先进或具有竞争力的AUROC分数。
• 与最近邻上采样相比，使用双三次上采样将AUROC从80.7%提升至92.6%，凸显了预处理质量的重要性。
• 在消融研究中，采用共享协方差矩阵的马氏距离检测器实现了最高的AUROC（92.6%），优于非参数化及独立协方差变体。
• 输入扰动（ε=0.01）可将AUROC提升至93.7%，但因推理成本增加未用于主实验结果，表明其在性能上存在潜在增益但以效率为代价。
• 该方法在性能上优于或匹配需要昂贵源域表征学习的最先进两阶段方法，表明领域特定的表征学习可能并非必要。
• ImageNet预训练特征的紧凑结构使得简单参数化检测器能够有效建模，表明这些特征捕捉到了具有判别性的、低维的正常样本结构。