[论文解读] A Case for the Score: Identifying Image Anomalies using Variational Autoencoder Gradients

David Zimmerer, Jens Petersen+2 more|arXiv (Cornell University)|Nov 28, 2019

Anomaly Detection Techniques and Applications参考文献 21被引用 20

一句话总结

本文提出使用变分自编码器（VAE）证据下界（ELBO）梯度作为像素级图像异常检测的评分近似，其性能优于基于重建误差的方法。在BraTS-2017数据集上，该方法在无监督肿瘤检测中实现了0.94的ROC-AUC，表明基于VAE的评分估计相较于仅使用重建误差，能提供更忠实且理论基础更坚实的异常评分。

ABSTRACT

Through training on unlabeled data, anomaly detection has the potential to impact computer-aided diagnosis by outlining suspicious regions. Previous work on deep-learning-based anomaly detection has primarily focused on the reconstruction error. We argue instead, that pixel-wise anomaly ratings derived from a Variational Autoencoder based score approximation yield a theoretically better grounded and more faithful estimate. In our experiments, Variational Autoencoder gradient-based rating outperforms other approaches on unsupervised pixel-wise tumor detection on the BraTS-2017 dataset with a ROC-AUC of 0.94.

研究动机与目标

• 为解决重建误差在无监督医学图像异常检测中的局限性，提出一种理论基础更坚实的替代方法。
• 探究将评分定义为输入的对数密度梯度时，是否可作为图像异常评分的更优选择。
• 评估基于VAE的评分近似在MRI扫描中像素级肿瘤检测中的性能。
• 分析ELBO梯度中KL散度与重建损失分量对异常检测的贡献。

提出的方法

• 该方法通过输入图像对VAE的证据下界（ELBO）关于输入的梯度来近似评分。
• 将ELBO分解为推理分布与先验分布之间的KL散度项，以及重建对数似然的期望项。
• 利用重参数化技巧和蒙特卡洛采样，通过反向传播计算ELBO的梯度，适用于可微分的高斯分布。
• 应用SmoothGrad以稳定梯度估计并减少转置卷积带来的噪声。
• 对梯度应用高斯平滑，以减轻转置卷积引起的棋盘伪影。
• 通过像素级异常评分进行评估，并与重建误差、平滑重建误差及采样方差进行比较。

实验结果

研究问题

• RQ1 VAE的ELBO梯度能否作为比重建误差更准确且理论基础更坚实的异常评分？
• RQ2 ELBO的各组成部分——重建损失与KL散度——如何分别贡献于异常检测性能？
• RQ3 将KL损失梯度纳入后，是否能提升异常检测性能，使其优于仅使用重建误差或重建梯度？
• RQ4 使用SmoothGrad与高斯平滑如何影响异常评分的质量？

主要发现

• 基于VAE的评分近似（即ELBO梯度）在BraTS-2017数据集上实现了0.94的像素级ROC-AUC，优于先前的最先进方法。
• 仅KL损失梯度的表现优于重建损失梯度，并对整体评分性能有显著贡献。
• KL损失梯度与重建损失梯度的组合仅带来相较于KL损失梯度单独使用时的微小改进，表明KL项在异常信号中占主导地位。
• 重建误差与平滑重建误差表现相近，平滑处理带来轻微改进，但两者均劣于ELBO梯度。
• 基于蒙特卡洛采样方差的评分与平滑重建误差表现相当，但劣于ELBO梯度。
• 结果表明，VAE目标函数中的KL项在捕捉分布偏离方面起着关键作用，是异常检测的强信号。