[论文解读] Deep Variational Semi-Supervised Novelty Detection

Tal Daniel, Thanard Kurutach+1 more|arXiv (Cornell University)|Nov 12, 2019

Anomaly Detection Techniques and Applications参考文献 47被引用 4

一句话总结

本文提出了两种基于变分推断的原理性方法——Dual-Prior VAE 和 CUBO 正则化 VAE，用于使用变分自编码器（VAEs）进行半监督异常检测，这些方法在训练过程中显式建模异常数据。通过促使编码器将正常与异常的潜在表征分离，该方法在多种数据集（包括图像、医学和天文数据）上实现了最先进或具有竞争力的性能，即使仅使用 1% 的标注异常样本也能实现优异表现。

ABSTRACT

In anomaly detection (AD), one seeks to identify whether a test sample is abnormal, given a data set of normal samples. A recent and promising approach to AD relies on deep generative models, such as variational autoencoders (VAEs), for unsupervised learning of the normal data distribution. In semi-supervised AD (SSAD), the data also includes a small sample of labeled anomalies. In this work, we propose two variational methods for training VAEs for SSAD. The intuitive idea in both methods is to train the encoder to `separate' between latent vectors for normal and outlier data. We show that this idea can be derived from principled probabilistic formulations of the problem, and propose simple and effective algorithms. Our methods can be applied to various data types, as we demonstrate on SSAD datasets ranging from natural images to astronomy and medicine, can be combined with any VAE model architecture, and are naturally compatible with ensembling. When comparing to state-of-the-art SSAD methods that are not specific to particular data types, we obtain marked improvement in outlier detection.

研究动机与目标

• 为解决无监督 VAE 在检测分布外样本方面的局限性，通过引入少量标注异常样本进行改进。
• 构建一种原理性的概率框架，用于训练 VAE，使其在训练过程中显式考虑负样本（即异常样本）。
• 通过修改 VAE 目标函数以分离正常与异常的潜在表征，提升异常检测的泛化能力。
• 在多种数据模态（包括图像、医学数据和文本）上展示所提方法的灵活性与有效性。
• 实现 VAE 基异常检测中模型集成的原理性应用，提升鲁棒性与性能。

提出的方法

• 提出 Dual-Prior VAE（DP-VAE），使用针对正常数据与异常数据的独立先验分布，促使编码器将异常样本映射至独立的潜在空间。
• 引入 CUBO 正则化 VAE，将标准 ELBO 与卡头上界（CUBO）相结合，联合最大化正常数据的似然，同时最小化异常数据的似然。
• 从半监督异常检测问题的原理性概率公式出发，推导出两种方法，确保理论基础坚实。
• 适用于任何 VAE 架构，无需架构约束，可与现有模型无缝兼容。
• 支持使用所提目标函数训练的多个 VAE 进行集成，提升检测鲁棒性。
• 通过在训练中引入负样本，将方法推广至非异常检测任务，如运动规划与情感分析，展示其泛化能力。

实验结果

研究问题

• RQ1 当仅有少量标注异常样本时，原理性的概率公式是否能提升基于 VAE 的异常检测性能？
• RQ2 如何修改 VAE 训练目标，以显式分离正常与异常的潜在表征？
• RQ3 即使仅引入 1% 的标注异常样本，其在多种数据类型上的检测性能提升程度如何？
• RQ4 所提方法是否可与模型集成有效结合，进一步提升检测性能？
• RQ5 该方法是否可推广至异常检测之外的其他生成建模任务，当存在负样本时？

主要发现

• 所提 DP-VAE 与 CUBO 正则化 VAE 在全面的半监督异常检测基准测试中达到最先进或具有竞争力的 AUROC 分数，涵盖 CIFAR-10、卫星图像与心脏数据集。
• 在 CIFAR-10 数据集上，仅使用 1% 异常样本时，该方法在使用冻结解码器与 5 个模型集成的情况下，AUROC 达到 74.5 ± 8.4，优于先前方法。
• 消融实验表明，使用共享编码器处理正常与异常数据至关重要，而冻结解码器在异常样本有限时带来的收益微乎其微。
• 在运动规划任务中，该方法显著提升了生成样本质量：与标准 CVAE 相比，DP-VAE 生成的碰撞风险配置更少，如图 3 所示。
• 该方法可推广至异常检测之外的任务，通过将障碍物边界样本作为负样本，成功增强了用于机器人运动规划的条件 VAE。
• 即使仅使用极小比例的标注异常样本（1%），也能显著提升异常检测性能，证明了该方法的数据高效性。