[论文解读] DASVDD: Deep Autoencoding Support Vector Data Descriptor for Anomaly Detection

Hadi Hojjati, Narges Armanfard|arXiv (Cornell University)|Jun 9, 2021

Anomaly Detection Techniques and Applications被引用 9

一句话总结

DASVDD 提出了一种联合训练框架，将深度自编码器与支持向量数据描述（SVDD）相结合，以在正常数据的潜在空间中学习一个最小体积超球体。通过将重构误差与超球心距离合并为统一的异常分数，DASVDD 避免了超球体坍塌问题，并在包括图像、语音和工业数据在内的多种基准数据集上实现了最先进性能。

ABSTRACT

Semi-supervised anomaly detection aims to detect anomalies from normal samples using a model that is trained on normal data. With recent advancements in deep learning, researchers have designed efficient deep anomaly detection methods. Existing works commonly use neural networks to map the data into a more informative representation and then apply an anomaly detection algorithm. In this paper, we propose a method, DASVDD, that jointly learns the parameters of an autoencoder while minimizing the volume of an enclosing hyper-sphere on its latent representation. We propose an anomaly score which is a combination of autoencoder's reconstruction error and the distance from the center of the enclosing hypersphere in the latent representation. Minimizing this anomaly score aids us in learning the underlying distribution of the normal class during training. Including the reconstruction error in the anomaly score ensures that DASVDD does not suffer from the common hypersphere collapse issue since the DASVDD model does not converge to the trivial solution of mapping all inputs to a constant point in the latent representation. Experimental evaluations on several benchmark datasets show that the proposed method outperforms the commonly used state-of-the-art anomaly detection algorithms while maintaining robust performance across different anomaly classes.

研究动机与目标

• 解决深度一类异常检测中的超球体坍塌问题，即模型将所有输入平凡地映射到单一点。
• 在无需领域特定转换的情况下，提升异常检测在多种数据类型（图像、音频、工业信号、医疗数据）上的泛化能力和鲁棒性。
• 开发一种统一的训练目标，联合优化自编码器的重构与SVDD超球体最小化。
• 确保即使在端到端训练超球心与网络偏置时，模型仍保持有效性，避免架构约束。

提出的方法

• 在潜在表示上端到端训练深度自编码器与支持向量数据描述（SVDD），以最小化包围超球体的体积。
• 定义一种新型异常分数，作为自编码器重构误差与潜在空间中到学习到的超球心L2距离的加权和。
• 优化总损失函数，平衡通过均方误差实现的重构误差与通过基于间隔的超球体最小化实现的SVDD损失。
• 引入超参数κ以控制每个训练周期中自编码器训练与超球心更新之间的权衡。
• 使用启发式方法初始化超球心，并应用学习率衰减以稳定训练动态。
• 对潜在表示进行正则化，即使在过完备自编码器（例如，潜在维度≥输入维度）中也能防止平凡解。

Figure 1: Overview of the proposed method DASVDD.

实验结果

研究问题

• RQ1 自编码器与SVDD的联合训练框架是否能避免DSVDD及其他深度一类方法中常见的超球体坍塌问题？
• RQ2 在异常分数中结合重构误差与超球距离，相较于单独使用任一度量，如何提升检测性能？
• RQ3 DASVDD在无需领域特定预处理的情况下，对不同数据模态（如图像、音频、表格数据）的泛化能力如何？
• RQ4 DASVDD的性能对超参数κ和潜在维度大小的敏感程度如何？
• RQ5 所提出方法是否在多样化基准数据集上优于现有最先进的一类异常检测算法？

主要发现

• DASVDD在七个基准数据集上优于多种最先进异常检测方法，包括MNIST、CIFAR-10以及语音和工业声音数据集。
• 在MNIST上，κ = 0.9时模型达到最优性能，表明将κ设为1.0（固定中心）或过低值会因自编码器训练数据不足而降低性能。
• 潜在表示的大小对MNIST、CIFAR-10和Fashion MNIST的性能影响极小，即使潜在维度大于输入维度，也表明对过完备编码具有鲁棒性。
• 所提出的异常分数有效防止了超球体坍塌，因为重构误差项主动抑制了网络在潜在空间中坍缩到单一点的行为。
• DASVDD在多种领域（图像、音频、入侵检测、医疗数据）中保持强性能，证明其无需输入特定转换即可实现良好泛化能力。
• 训练动态显示，SVDD损失在初期迅速下降，但随后被重构误差主导，表明在早期训练阶段后，自编码器组件成为优化的主要驱动力。

Figure 2: Samples with the lowest (top row) and highest (bottom row) anomaly scores in MNIST (10 left columns) and FMNIST (10 right columns).