[论文解读] Anomaly Detection for imbalanced datasets with Deep Generative Models

Nazly Rocio Santos Buitrago, Loek Tonnaer+2 more|arXiv (Cornell University)|Nov 2, 2018

Generative Adversarial Networks and Image Synthesis参考文献 14被引用 6

一句话总结

本文提出一种基于深度生成模型（VAEs 和 GANs）的异常检测框架，适用于高度不平衡的数据集，特别是在医学影像领域。模型仅在正常（负样本）上进行训练，然后通过低似然得分检测异常（如肺结节）。结果显示，VAE 在 MNIST 上的 AUROC 为 0.84，但在 NLST 肺部 CT 数据上的 AUROC 仅为 0.62，而 GAN 的表现更差（AUROC 0.58），表明当前的生成模型在处理复杂医学图像分布方面仍存在困难。

ABSTRACT

Many important data analysis applications present with severely imbalanced datasets with respect to the target variable. A typical example is medical image analysis, where positive samples are scarce, while performance is commonly estimated against the correct detection of these positive examples. We approach this challenge by formulating the problem as anomaly detection with generative models. We train a generative model without supervision on the `negative' (common) datapoints and use this model to estimate the likelihood of unseen data. A successful model allows us to detect the `positive' case as low likelihood datapoints. In this position paper, we present the use of state-of-the-art deep generative models (GAN and VAE) for the estimation of a likelihood of the data. Our results show that on the one hand both GANs and VAEs are able to separate the `positive' and `negative' samples in the MNIST case. On the other hand, for the NLST case, neither GANs nor VAEs were able to capture the complexity of the data and discriminate anomalies at the level that this task requires. These results show that even though there are a number of successes presented in the literature for using generative models in similar applications, there remain further challenges for broad successful implementation.

研究动机与目标

• 解决在高度不平衡数据集中，尤其是正常病例远多于异常病例的医学影像领域中的异常检测挑战。
• 探究深度生成模型是否能有效学习正常数据的分布，从而在训练阶段无需标注异常样本的情况下检测罕见异常病例。
• 评估最先进生成模型（VAEs 和 GANs）在两个不同数据集上的性能：MNIST（将数字 9 视为异常）和 NLST（来自 CT 扫描的肺结节）。
• 评估基于似然的异常检测在真实临床场景中，面对有限数据时，使用深度生成模型的鲁棒性与泛化能力。
• 识别当前生成模型在捕捉复杂、高维医学图像分布方面存在的局限性，以实现可靠的异常检测。

提出的方法

• 在仅包含正常（负样本）的数据上无监督地训练 VAE 和 GAN，以学习数据的潜在分布。
• 使用最大似然估计（MLE）优化模型参数，最小化负对数似然：$ E(w) = -\sum_i \log p[x_i|f(x_i;w)] $。
• 计算测试样本的似然得分：低似然得分表示可能存在异常。
• 采用基于阈值的分类方法，利用似然得分区分正常与异常样本。
• 使用 ROC 曲线和 AUROC 分数评估模型在 MNIST 和 NLST 数据集上的性能。
• 对于 NLST 数据集，VAE 和 GAN 均采用 3D 卷积架构，以处理体积化的 CT 结节数据。

实验结果

研究问题

• RQ1 VAE 和 GAN 是否能有效学习在不平衡数据集中正常数据的分布，并通过似然估计检测异常？
• RQ2 在标准基准数据集（MNIST）与复杂的真实世界医学数据集（NLST 肺部 CT 结节）之间，VAE 和 GAN 的性能表现如何比较？
• RQ3 当前的深度生成模型在多大程度上能够捕捉 3D 医学图像数据的复杂性，特别是区分恶性与良性肺结节的能力？
• RQ4 增加训练样本数量是否能提升 VAE 和 GAN 在 NLST 数据集上的异常检测性能？
• RQ5 VAE 和 GAN 的似然得分是否足够可靠，可用于早期肺癌检测的临床决策支持？

主要发现

• 在 MNIST 数据集上，基于 VAE 的异常检测方法实现了 0.84 的 AUROC，表明正常与异常样本之间具有较强的可分性。
• 在 MNIST 上基于 GAN 的方法实现了 0.66 的 AUROC，表明性能有限，且对超参数和训练样本数量高度敏感。
• 在 NLST 3D 肺部 CT 数据集上，基于 GAN 的模型 AUROC 为 0.58，表明其性能仅略好于随机猜测。
• 在 NLST 上基于 VAE 的模型 AUROC 为 0.62，表明尽管优于随机猜测，但判别能力仍有限，尚不足以用于临床实践。
• 在 NLST 上，两种模型在正常与异常样本之间的似然分布存在显著重叠，表明在高维医学图像空间中分离能力较差。
• 实证结果表明，增加训练数据可能有助于提升性能，但当前模型在可靠检测 CT 扫描中的恶性结节方面仍显不足。