[论文解读] Context-encoding Variational Autoencoder for Unsupervised Anomaly Detection

David Zimmerer, Simon Köhl+3 more|arXiv (Cornell University)|Dec 14, 2018

Anomaly Detection Techniques and Applications参考文献 25被引用 82

一句话总结

本文提出 ceVAE，这是 Context Encoders 与 Variational Autoencoders 的结合，用于医学影像的无监督异常检测，带来样本级和像素级异常定位的提升，并在 BraTS-2017 和 ISLES-2015 数据集上实现无监督 ROC-AUC 的最新水平。

ABSTRACT

Unsupervised learning can leverage large-scale data sources without the need for annotations. In this context, deep learning-based auto encoders have shown great potential in detecting anomalies in medical images. However, state-of-the-art anomaly scores are still based on the reconstruction error, which lacks in two essential parts: it ignores the model-internal representation employed for reconstruction, and it lacks formal assertions and comparability between samples. We address these shortcomings by proposing the Context-encoding Variational Autoencoder (ceVAE) which combines reconstruction- with density-based anomaly scoring. This improves the sample- as well as pixel-wise results. In our experiments on the BraTS-2017 and ISLES-2015 segmentation benchmarks, the ceVAE achieves unsupervised ROC-AUCs of 0.95 and 0.89, respectively, thus outperforming state-of-the-art methods by a considerable margin.

研究动机与目标

• 由于缺乏标注且需要样本级和像素级定位，激发医学影像中的无监督异常检测研究。
• 通过将模型内部潜在偏差与重建误差结合来改进异常评分。
• 提供具有正式、可比较分数的像素级异常定位机制。
• 在公开基准 BraTS-2017 和 ISLES-2015 上展示最先进的无监督分割性能。

提出的方法

• 通过使用共享编码器权重将 Context Encoder (CE) 与 Variational Autoencoder (VAE) 融合来引入 ceVAE。
• CE 分支：通过遮罩输入区域来应用上下文编码噪声，并用 CE 目标重构被扰动的输入，以获得鲁棒且具有语义意义的表示。
• VAE 分支：使用带潜在先验 p(z) 的标准 VAE，以及 KL 散度 L_KL 加上重建损失 L_rec_VAE 以获得每个样本的似然估计。
• 将 CE 与 VAE 结合成联合目标 L_ceVAE = L_KL + L_rec_VAE + L_rec_CE，以同时捕捉潜在偏差和经过校准的重建误差。
• 异常分数：将样本级异常分数计算为 log p(x) ≈ L_KL + L_rec_VAE；通过融合重建误差和 ELBO 相对于输入向后传播得到的梯度导数来计算像素级分数（通过对 KL 项的反向传播）。
• 提到的关键方程： (2) ELBO, (4) standard VAE loss, (5) L_VAE, (6) L_ceVAE, (7) sample-wise log probability, (8) pixel-wise anomaly score.

实验结果

研究问题

• RQ1 ceVAE 是否能在医学影像中超越基于重构的自编码器和普通 VAE 的无监督异常检测？
• RQ2 将 CE 与 VAE 结合是否比任一组件独立时提供更好的像素级定位和样本级评分？
• RQ3 将后验到先验的 KL 散度整合如何帮助在像素级勾勒异常区域？
• RQ4 所提出的分数是否经过校准且在不同样本之间具有可比性，以用于公开基准的无监督异常检测？

主要发现

• ceVAE 在 BraTS-2017 和 ISLES-2015 的像素级异常检测和样本级 ROC-AUC 上，优于 OC-SVM 及多种基于 AE 的基线。
• 重建误差与 KL-散度梯度的像素级融合在所有数据集中实现了更强的分割性能。
• 将 CE 与 VAE 结合带来正则化效应，避免后验崩溃，导致更具辨别力的潜在表示。
• 该方法在无监督条件下实现 0.95 的 ROC-AUC（BraTS-2017）和 0.89（ISLES-2015）。
• 仅使用 CE 在基于重建的指标上表现出色，而单独的 VAE 在基于梯度的指标上表现出色；两者的组合（ceVAE）始终获得最佳结果。