[论文解读] Deep Anomaly Detection with Deviation Networks

Guansong Pang, Chunhua Shen+1 more|arXiv (Cornell University)|Nov 19, 2019

Anomaly Detection Techniques and Applications参考文献 27被引用 5

一句话总结

该论文提出 DevNet，一种通过少量标注异常样本和先验概率，直接通过端到端可微训练学习异常分数的深度异常检测框架。与先学习表征再间接优化异常分数的两步法相比，DevNet 直接优化最终的异常分数目标，显著提升了数据效率和性能——在多个基准测试中，AUC-ROC 和 AUC-PR 均优于当前最先进方法，其中 AUC-PR 相较竞争模型提升达 30%。

ABSTRACT

Although deep learning has been applied to successfully address many data mining problems, relatively limited work has been done on deep learning for anomaly detection. Existing deep anomaly detection methods, which focus on learning new feature representations to enable downstream anomaly detection methods, perform indirect optimization of anomaly scores, leading to data-inefficient learning and suboptimal anomaly scoring. Also, they are typically designed as unsupervised learning due to the lack of large-scale labeled anomaly data. As a result, they are difficult to leverage prior knowledge (e.g., a few labeled anomalies) when such information is available as in many real-world anomaly detection applications. This paper introduces a novel anomaly detection framework and its instantiation to address these problems. Instead of representation learning, our method fulfills an end-to-end learning of anomaly scores by a neural deviation learning, in which we leverage a few (e.g., multiple to dozens) labeled anomalies and a prior probability to enforce statistically significant deviations of the anomaly scores of anomalies from that of normal data objects in the upper tail. Extensive results show that our method can be trained substantially more data-efficiently and achieves significantly better anomaly scoring than state-of-the-art competing methods.

研究动机与目标

• 解决两步法深度异常检测方法因通过表征学习间接优化异常分数而带来的局限性。
• 实现仅使用少量标注异常样本和先验概率的端到端、可微分的异常分数学习。
• 通过直接优化最终的异常分数目标，提升数据效率和异常评分质量。
• 克服无监督方法因缺乏先验知识而常将噪声或无关数据误判为异常的缺陷。
• 开发一种可扩展且高效的深度学习框架，即使在异常样本污染率较高且标注数据有限的情况下仍能表现良好。

提出的方法

• DevNet 使用神经网络直接从输入数据预测异常分数，跳过中间的表征学习过程。
• 引入一种偏差损失（deviation loss），利用对异常分数分布的先验概率，在上尾区域强制异常分数与正常数据之间呈现统计上显著的偏离。
• 模型使用少量标注异常样本和大量包含正常与异常数据的无标签数据进行端到端训练。
• 偏差损失设计为计算高效且可微，支持通过整个网络进行反向传播。
• 该框架支持多种深度架构，包括多层感知机，并可扩展至卷积网络或循环网络，以处理图像和序列数据。
• 通过从异常污染的无标签数据中随机采样负样本，提升在低数据场景下的鲁棒性。

实验结果

研究问题

• RQ1 端到端学习异常分数是否能优于两步法中的表征学习？
• RQ2 使用少量标注异常样本和先验概率如何提升数据效率和评分性能？
• RQ3 与通过表征间接优化相比，直接优化异常分数是否能带来更好的泛化能力和鲁棒性？
• RQ4 在无标签数据中异常样本污染率较高的情况下，DevNet 表现如何？
• RQ5 所提方法在数据规模和维度增加时是否能高效扩展？

主要发现

• 与最佳竞争方法 Linear 相比，DevNet 在 AUC-ROC 上平均提升 6%，在 AUC-PR 上提升 30%，展现出更优的数据效率和评分质量。
• 相较于 DSVDD，使用偏差损失的变体 Rep 在 AUC-PR 上提升 16%，同时 AUC-ROC 保持相近，表明偏差损失在捕捉多样化异常行为方面具有优势。
• 尽管时间复杂度相似，DevNet 在大规模数据集上运行速度比 REPEN 和 FSNet 快 10 至 20 倍，得益于其计算高效的损失函数。
• 即使在高异常污染率（最高达 50%）下，DevNet 仍保持强劲性能，显著优于当前最先进无监督检测器。
• 当仅提供少量标注异常样本时，更深的网络（如 3HL）并未持续提升性能，表明模型深度需与数据可用性相匹配。
• 该方法在多种数据集上泛化能力强，包括图像（CelebA、Backdoor）、文本（URL、Campaign、News20）和表格数据（Thyroid），在 AUC-ROC 和 AUC-PR 上均保持一致的性能提升。