[论文解读] Deep Anomaly Detection with Outlier Exposure

Dan Hendrycks, Mantas Mazeika+1 more|arXiv (Cornell University)|Dec 11, 2018

Anomaly Detection Techniques and Applications被引用 401

一句话总结

Outlier Exposure (OE) 通过使用辅助离群数据集训练异常检测器，以提升对未见离群在视觉和NLP任务中的检测能力，从而提高OOD检测和校准。

ABSTRACT

It is important to detect anomalous inputs when deploying machine learning systems. The use of larger and more complex inputs in deep learning magnifies the difficulty of distinguishing between anomalous and in-distribution examples. At the same time, diverse image and text data are available in enormous quantities. We propose leveraging these data to improve deep anomaly detection by training anomaly detectors against an auxiliary dataset of outliers, an approach we call Outlier Exposure (OE). This enables anomaly detectors to generalize and detect unseen anomalies. In extensive experiments on natural language processing and small- and large-scale vision tasks, we find that Outlier Exposure significantly improves detection performance. We also observe that cutting-edge generative models trained on CIFAR-10 may assign higher likelihoods to SVHN images than to CIFAR-10 images; we use OE to mitigate this issue. We also analyze the flexibility and robustness of Outlier Exposure, and identify characteristics of the auxiliary dataset that improve performance.

研究动机与目标

• 在分布漂移条件下推动深度学习系统的鲁棒异常检测。
• 提出 Outlier Exposure (OE)，通过使用辅助离群数据集进行训练，以学习可泛化的 OOD 提示。
• 证明 OE 在跨任务和架构的现有 OOD 检测器上提升效果。
• 展示在 OOD 暴露下 OE 对密度估计和分类器校准的收益。

提出的方法

• 将 OE 正式化为在训练目标中加入一项旨在降低对 OE 离群数据的置信度的项。
• 微调或训练网络，使其对 OE 数据的输出趋向均匀分布（或降低置信度），以抑制对未见离群的过度自信。
• 使用多样且真实世界的 OE 数据集（如 80 Million Tiny Images、ImageNet-22K、WikiText-2）作为离群数据，而非合成噪声或 GAN。
• 将 OE 应用于视觉和 NLP 的多分类分类器，使用 MSP 与一个置信分支基线作为 OOD 检测器。
• 结合密度估计器（PixelCNN++）和语言模型（QRNN）探索 OE，以通过调整概率密度信号改善 OOD 检测。
• 研究数据集的多样性与接近度效应，并在现实的 OOD 测试设置下评估校准改进。

实验结果

研究问题

• RQ1 Outlier Exposure 是否能够提升 OOD 检测器对未见异常分布的泛化能力？
• RQ2 引入真实、多样化的离群数据是否优于合成或噪声型离群数据在 OOD 检测中的表现？
• RQ3 OE 如何与现有检测器（MSP、置信分支）以及密度估计和语言模型交互？
• RQ4 在某些数据为 OOD 时，OE 对预测校准有何影响？
• RQ5 OE 数据集的哪些特征（多样性、接近性）会影响性能？

主要发现

数据集	FPR95 MSP	FPR95 +OE	AUROC MSP	AUROC +OE	AUPR MSP	AUPR +OE
SVHN	6.3	0.1	98.0	100.0	91.1	99.9
CIFAR-10	34.9	9.5	89.3	97.8	59.2	90.5
CIFAR-100	62.7	38.5	73.1	87.9	30.1	58.2
Tiny ImageNet	66.3	14.0	64.9	92.2	27.2	79.3
Places365	63.5	28.2	66.5	90.6	33.1	71.0

• OE 在视觉和 NLP 任务中始终提升平均 OOD 检测性能。
• 真实且多样化的 OE 数据在大多数设置中优于合成或 GAN 生成的离群数据。
• OE 将基于密度估计的 OOD 评分朝着对离群数据更合理的密度方向改进。
• 在现实环境中混合分布内的 OOD 数据条件下，OE 提升神经网络分类器的校准。
• 将 OE 与现有检测器结合使用可在不针对特定测试分布进行调参的情况下实现显著增益。