[论文解读] CRADL: Contrastive Representations for Unsupervised Anomaly Detection and Localization

Carsten T. Lüth, David Zimmerer+5 more|arXiv (Cornell University)|Jan 5, 2023

Anomaly Detection Techniques and Applications被引用 5

一句话总结

CRADL 提出了一种基于对比表示的无监督异常检测与定位框架，利用自监督对比学习从神经编码器中提取语义丰富的特征。通过在该表示空间中使用简单的生成模型建模正常数据分布，CRADL 实现了最先进性能，尤其在检测细微语义偏差方面优于图像空间的生成模型和先前的表示基方法。

ABSTRACT

Unsupervised anomaly detection in medical imaging aims to detect and localize arbitrary anomalies without requiring annotated anomalous data during training. Often, this is achieved by learning a data distribution of normal samples and detecting anomalies as regions in the image which deviate from this distribution. Most current state-of-the-art methods use latent variable generative models operating directly on the images. However, generative models have been shown to mostly capture low-level features, s.a. pixel-intensities, instead of rich semantic features, which also applies to their representations. We circumvent this problem by proposing CRADL whose core idea is to model the distribution of normal samples directly in the low-dimensional representation space of an encoder trained with a contrastive pretext-task. By utilizing the representations of contrastive learning, we aim to fix the over-fixation on low-level features and learn more semantic-rich representations. Our experiments on anomaly detection and localization tasks using three distinct evaluation datasets show that 1) contrastive representations are superior to representations of generative latent variable models and 2) the CRADL framework shows competitive or superior performance to state-of-the-art.

研究动机与目标

• 为解决生成模型在捕捉语义特征方面的局限性，这些模型常过度拟合到像素强度等低层次图像统计特征。
• 探究自监督对比表示是否能提升医学影像中的无监督异常检测与定位性能。
• 开发一种简单而有效的框架，将表示学习与分布建模解耦，以提升泛化能力和可扩展性。
• 证明对比表示相比图像空间生成模型，能更可靠地检测细微且多样的异常。

提出的方法

• 采用一种受 SimCLR 启发的对比自监督掩蔽任务，训练神经编码器从正常医学图像中学习语义有意义的表示。
• 将学习到的表示作为输入，输入到一个简单的生成模型（如 GMM 或 VAE）中，以建模潜在空间中正常样本的分布。
• 通过计算表示空间中的重建误差或似然分数执行异常检测，分数越高表示越可能是异常。
• 对于定位任务，通过计算每个图像块或体素的重建误差生成异常图，实现像素级异常定位。
• 该框架仅使用正常数据进行训练，因此完全无监督，适合真实临床环境部署。
• 在三个不同数据集上评估该方法：BraTS、ISLES 和 HCP Synth，涵盖多种病理类型和成像模态。

实验结果

研究问题

• RQ1 与图像空间生成模型相比，通过自监督预训练学习到的对比表示是否能显著提升无监督异常检测与定位性能？
• RQ2 在检测正常状态下的细微、语义层面偏差时，基于表示的异常检测是否优于直接在图像空间进行生成建模的方法？
• RQ3 在表示空间中选择不同的生成模型（如 GMM 与 VAE）对检测与定位性能有何影响？
• RQ4 对比表示在多大程度上减少了对背景强度或扫描伪影等低层次特征的过度依赖？
• RQ5 CRADL 是否能在无需标注异常的情况下，跨不同成像模态和病理类型实现良好泛化？

主要发现

• 通过 SimCLR 风格的对比预训练学习到的对比表示，在检测异常方面，尤其是细微语义偏差方面，显著优于变分自编码器（VAE）学习到的表示。
• 在 BraTS 和 ISLES 数据集上，CRADL 的性能与最先进无监督异常检测方法相比具有竞争力或更优。
• 在异常定位方面，应用于对比表示的高斯混合模型（GMM）优于更复杂的模型如 VAE，表明在表示空间中简单方法同样有效。
• 该方法对分布偏移具有鲁棒性，在 HCP Synth 数据集上表现最佳，该数据集模拟了细微的、与年龄相关的或未标注的异常。
• 使用自监督掩蔽任务的 ceVAE 在性能上优于标准 VAE，进一步验证了自监督表示学习的优势。
• 由于低维、语义丰富的表示空间降低了分布拟合的数据需求，该框架在正常数据有限的场景下尤为有效。