[论文解读] Anomaly Detection using One-Class Neural Networks

Raghavendra Chalapathy, Aditya Krishna Menon+1 more|arXiv (Cornell University)|Feb 18, 2018

Anomaly Detection Techniques and Applications参考文献 25被引用 189

一句话总结

论文提出 OC-NN，是一种将一类支持向量机（OC-SVM）类似目标整合到深度表示中的神经网络模型，用于检测异常，在不依赖后续特征提取的情况下在复杂高维数据上展示出竞争力的性能。

ABSTRACT

We propose a one-class neural network (OC-NN) model to detect anomalies in complex data sets. OC-NN combines the ability of deep networks to extract a progressively rich representation of data with the one-class objective of creating a tight envelope around normal data. The OC-NN approach breaks new ground for the following crucial reason: data representation in the hidden layer is driven by the OC-NN objective and is thus customized for anomaly detection. This is a departure from other approaches which use a hybrid approach of learning deep features using an autoencoder and then feeding the features into a separate anomaly detection method like one-class SVM (OC-SVM). The hybrid OC-SVM approach is sub-optimal because it is unable to influence representational learning in the hidden layers. A comprehensive set of experiments demonstrate that on complex data sets (like CIFAR and GTSRB), OC-NN performs on par with state-of-the-art methods and outperformed conventional shallow methods in some scenarios.

研究动机与目标

• 在高维数据中改进无监督异常检测的动机，特别是在 OC-SVM 难以处理的场景。
• 开发一种基于神经网络的方法，将单类目标整合到表示学习中。
• 实现端到端优化，使隐藏层表示为异常检测量身定制。
• 在多模态数据集（图像和序列）上，将 OC-NN 与浅层和深层基线进行比较评估。
• 提供交替最小化的训练过程及关于用于 OC-NN 截止阈值的分位数优化的理论见解。

提出的方法

• 提出一种一类神经网络（OC-NN），用神经网络隐藏表示来替代 OC-SVM 的点积：hat{y}_n = w^T g(V x_n)。
• 将 OC-NN 目标公式化为标准权重正则化项与一类损失项之和，使用带有偏置 r 的铰链式 max(0, r - hat{y}_n)。
• 推导出最优的 r 是分数 hat{y}_n 的 nu 分位数，从而实现一个交替最小化，其中 w 和 V 通过反向传播学习，r 通过分位数计算更新。
• 允许将编码器权重从预训练自编码器初始化，以定制用于异常检测的特征。
• 在合成数据集和真实数据集上，将 OC-NN 与 OC-SVM/SVDD、KDE、Isolation Forest、DCAE、AnoGAN 和 RCAE 进行比较。
• 描述具有单隐藏层的网络结构以及用于复杂数据的迁移学习嵌入。

实验结果

研究问题

• RQ1 如何将单类目标集成到神经网络中，以学习用于异常检测的任务特定表示？
• RQ2 与最先进的基线相比，OC-NN 在高维图像和序列数据上是否实现具有竞争力或更优的异常检测性能？
• RQ3 是否可以通过交替最小化和基于分位数的决策阈值更新对训练进行高效优化？
• RQ4 使用自编码器派生的特征作为 OC-NN 输入对检测精度有何影响？
• RQ5 在现实数据集中，OC-NN 在检测对抗性或边界攻击异常方面的表现如何？

主要发现

• OC-NN 在复杂的图像和序列数据集上实现了与最先进深度学习方法具有竞争力的性能。
• 在某些情景下，尤其是在高维数据上，OC-NN 可以超越传统的浅层方法。
• 该训练算法使用一个交替最小化，其中阈值 r 等于分数的 nu 分位数，使实际优化成为可能。
• 使用来自预训练自编码器的编码器特征可以提升 OC-NN 的异常检测能力。
• OC-NN 在 GTSRB 数据集上检测对抗性停止标志样本方面显示出有效性，与其他深度模型相比具有可比结果。