[论文解读] Anomaly Detection With Multiple-Hypotheses Predictions

Duc Tam Nguyen, Zhongyu Lou+2 more|arXiv (Cornell University)|Oct 31, 2018

Anomaly Detection Techniques and Applications被引用 36

一句话总结

本文提出 ConAD，一种基于判别器的多假设变分自编码器，通过更精确地建模复杂、多模态的数据分布，提升异常检测性能，优于单假设模型。通过对抗训练强制各假设间保持一致性与多样性，ConAD 在 CIFAR-10 上 AUROC 最高提升 3.9%，在真实世界异常检测任务中将误差从 6.8% 降低至 1.5%。

ABSTRACT

In one-class-learning tasks, only the normal case (foreground) can be modeled with data, whereas the variation of all possible anomalies is too erratic to be described by samples. Thus, due to the lack of representative data, the wide-spread discriminative approaches cannot cover such learning tasks, and rather generative models, which attempt to learn the input density of the foreground, are used. However, generative models suffer from a large input dimensionality (as in images) and are typically inefficient learners. We propose to learn the data distribution of the foreground more efficiently with a multi-hypotheses autoencoder. Moreover, the model is criticized by a discriminator, which prevents artificial data modes not supported by data, and enforces diversity across hypotheses. Our multiple-hypothesesbased anomaly detection framework allows the reliable identification of out-of-distribution samples. For anomaly detection on CIFAR-10, it yields up to 3.9% points improvement over previously reported results. On a real anomaly detection task, the approach reduces the error of the baseline models from 6.8% to 1.5%.

研究动机与目标

• 解决一类异常检测中的挑战：异常样本稀少或未定义，导致判别模型失效。
• 克服标准自编码器在图像等高维数据上的局限性，其重建结果常模糊，错误地表现为正常。
• 通过多假设而非单一均值预测，捕捉多模态结构，改进正常数据分布的生成建模。
• 通过引入判别器作为判别器，强制真实数据一致性，防止多假设网络中的模式崩溃与人工数据模式支持。
• 开发一种可扩展、鲁棒的框架，在假设数量增加时仍保持高性能，降低对超参数选择的敏感性。

提出的方法

• 在变分自编码器中使用多头解码器，生成多个假设重建结果，每个代表数据分布的一个不同模式。
• 采用胜者为王（WTA）损失进行训练，将学习信号分配给最佳假设，但引入判别器以惩罚不一致或不现实的假设。
• 引入判别器 D，评估每个假设重建的逼真度，促进多样性并保持与真实数据分布的一致性。
• 使用与输入最接近假设的似然作为异常分数，实现对分布外样本的细粒度检测。
• 采用基于残差的异常评分策略，对残差最高的前 10% 像素求和，以减少高维输入空间中的噪声影响。
• 结合 VAE 的潜在空间建模与对抗训练，稳定学习过程，防止模型生成人工数据模式。

实验结果

研究问题

• RQ1 与单假设模型相比，多假设网络是否能更有效地建模一类异常检测中的复杂、多模态数据分布？
• RQ2 在基于自编码器的异常检测中，引入判别器的对抗训练如何影响多假设的一致性与多样性？
• RQ3 当假设数量增加时，所提出的框架在高维图像空间中是否仍保持鲁棒性与高性能？
• RQ4 通过聚焦于多个假设重建结果中的局部邻域相似性，该框架能否可靠检测细微异常？
• RQ5 判别器在多假设网络中在多大程度上缓解了模式崩溃与人工数据模式生成导致的性能退化？

主要发现

• 与先前报告结果相比，ConAD 在 CIFAR-10 异常检测基准上 AUROC 最高提升 3.9 个百分点。
• 在真实世界金属异常检测数据集上，ConAD 将误差率从基线的 6.8% 降低至 1.5%，展现出强大的实际性能。
• 即使在最多 8 个假设的情况下，模型仍保持高性能，而标准 MHP 和 MDN 基础模型在假设数量增加时性能迅速下降。
• 与基线模型（标准差最高达 ±3.5）相比，ConAD 的性能标准差显著更低（例如 0.1–0.5 AUROC），表明训练过程更稳定。
• 判别器 D 的引入可有效防止人工数据模式的生成，并降低对假设数量的敏感性，使框架更具鲁棒性与适应性。
• 即使在高维图像空间中，该框架仍优于标准 MHP 和 MDN 基础模型，尤其在 MDN 因模式崩溃而通常表现不佳的场景下。