[论文解读] Deep Learning for Anomaly Detection: A Survey

Raghavendra Chalapathy, Sanjay Chawla|arXiv (Cornell University)|Jan 10, 2019

Anomaly Detection Techniques and Applications参考文献 419被引用 1,200

一句话总结

基于深度学习的异常检测（DAD）方法的结构化概述、分类、挑战与领域应用。

ABSTRACT

Anomaly detection is an important problem that has been well-studied within diverse research areas and application domains. The aim of this survey is two-fold, firstly we present a structured and comprehensive overview of research methods in deep learning-based anomaly detection. Furthermore, we review the adoption of these methods for anomaly across various application domains and assess their effectiveness. We have grouped state-of-the-art research techniques into different categories based on the underlying assumptions and approach adopted. Within each category we outline the basic anomaly detection technique, along with its variants and present key assumptions, to differentiate between normal and anomalous behavior. For each category, we present we also present the advantages and limitations and discuss the computational complexity of the techniques in real application domains. Finally, we outline open issues in research and challenges faced while adopting these techniques.

研究动机与目标

• 提供对最先进的 DAD 技术的结构化、全面的综述。
• 按训练目标和建模方法对 DAD 方法进行分类。
• 讨论 DAD 技术在多领域的适用性与有效性。
• 概述在实际场景中部署 DAD 面临的开放问题和挑战。

提出的方法

• 提出基于训练目标的 DAD 技术分类：有监督、半监督、无监督、混合模型，以及单类神经网络。
• 引入将自编码器与传统检测器（如 OC-SVM）结合的深度混合模型。
• 描述单类神经网络（OC-NN）和 Deep SVDD 作为端到端的异常聚焦表征。
• 讨论输入数据的性质（序列型 vs 非序列型）以及适用于不同数据类型的模型架构。
• 概述输出（异常得分 vs 二元标签）及其对决策的解释。

实验结果

研究问题

• RQ1 深度学习在异常检测中的基本类别及其权衡是什么？
• RQ2 输入数据类型和标签可用性如何影响 DAD 方法的选择？
• RQ3 在哪些主要应用领域 DAD 已被证实有效，在现实部署中会遇到哪些挑战？
• RQ4 深度异常检测技术如何处理点异常、上下文异常和集体异常？

主要发现

• 基于深度学习的异常检测方法在对大规模高维数据上的分类效果优于传统方法。
• 混合模型和单类神经网络为异常检测提供了端到端或接近端到端的专门化方法。
• DAD 技术可应用于多领域，如入侵检测、欺诈检测、恶意软件检测和医疗健康领域，并存在域内特定挑战。
• 综述强调在方法选择时需考虑数据性质、标签可用性以及异常类型（点、上下文、集体）。
• 未解决的问题包括不断演变的异常定义、可扩展性以及将模型适应于不断变化的威胁环境。