[论文解读] Constrained Contrastive Distribution Learning for Unsupervised Anomaly Detection and Localisation in Medical Images

Yu Tian, Guansong Pang+6 more|arXiv (Cornell University)|Mar 5, 2021

Anomaly Detection Techniques and Applications参考文献 48被引用 5

一句话总结

本文提出了一种自监督表示学习方法——约束对比分布学习（CCD），用于医学图像中的无监督异常检测与定位。通过在数据增强和图像块位置上联合优化对比分布学习与先验约束，CCD 学习到细粒度的正常性表征，显著提升了对细微病灶的检测能力，在 Hyper-Kvasir 数据集上实现了 97.2% 的 SOTA AUC 分数，并在三个医学影像基准测试中超越了先前的 SOTA 方法。

ABSTRACT

Unsupervised anomaly detection (UAD) learns one-class classifiers exclusively with normal (i.e., healthy) images to detect any abnormal (i.e., unhealthy) samples that do not conform to the expected normal patterns. UAD has two main advantages over its fully supervised counterpart. Firstly, it is able to directly leverage large datasets available from health screening programs that contain mostly normal image samples, avoiding the costly manual labelling of abnormal samples and the subsequent issues involved in training with extremely class-imbalanced data. Further, UAD approaches can potentially detect and localise any type of lesions that deviate from the normal patterns. One significant challenge faced by UAD methods is how to learn effective low-dimensional image representations to detect and localise subtle abnormalities, generally consisting of small lesions. To address this challenge, we propose a novel self-supervised representation learning method, called Constrained Contrastive Distribution learning for anomaly detection (CCD), which learns fine-grained feature representations by simultaneously predicting the distribution of augmented data and image contexts using contrastive learning with pretext constraints. The learned representations can be leveraged to train more anomaly-sensitive detection models. Extensive experiment results show that our method outperforms current state-of-the-art UAD approaches on three different colonoscopy and fundus screening datasets. Our code is available at https://github.com/tianyu0207/CCD.

研究动机与目标

• 为仅使用正常训练数据检测医学图像中细微异常的挑战提供解决方案。
• 通过设计面向异常检测的掩码任务，改进自监督表示学习以实现无监督异常检测（UAD）。
• 学习具有判别性的、细粒度的正常性表征，使其对微小病灶高度敏感。
• 开发一种预训练方法，可在不修改网络架构的前提下提升多种下游 UAD 模型的性能。
• 在多个医学影像数据集上实现异常检测与定位的 SOTA 性能。

提出的方法

• CCD 使用对比分布学习比较正常图像的强增强视图，促使模型学习到正常模式的判别性分布。
• 引入两项掩码约束：(1) 预测应用于图像的数据增强类型；(2) 预测图像块在打乱后的位置。
• 该方法联合优化三种损失：对比分布损失、增强类型预测损失和图像块位置预测损失。
• 框架仅在正常图像上进行预训练，学习到的特征随后通过下游 UAD 模型（如 IGD、F-anoGAN 和 MS-SSIM）进行微调。
• 该方法与下游异常检测器无关，可迁移至多种 UAD 架构。
• 推理阶段，使用预训练特征基于重建误差或异常分数实现图像重建或异常检测。

实验结果

研究问题

• RQ1 在医学图像中，结合掩码约束的对比分布学习是否能提升对细微异常的自监督表示学习性能？
• RQ2 联合优化增强类型预测与图像块位置预测是否能生成比标准对比学习更具判别性的正常性表征？
• RQ3 所提出的自监督预训练方法是否能在多样化的无监督异常检测模型与数据集上实现 SOTA 性能？
• RQ4 与全监督方法及先前无监督方法相比，该方法在 AUC 和定位 IoU 指标上的性能表现如何？
• RQ5 与全监督基线相比，预训练阶段完全不使用异常数据对检测性能的影响有多大？

主要发现

• 当与 IGD 异常检测器结合时，CCD 在 Hyper-Kvasir 结肠镜图像数据集上实现了 97.2% 的 SOTA AUC 分数，优于先前的 SOTA 方法。
• 消融实验表明，引入分布对比损失使 AUC 相比标准对比学习提升 2.4%，而两项掩码约束分别带来额外 2.7% 和 0.8% 的提升。
• 在 Liu 等人的结肠镜图像数据集上，该方法与 IGD 检测器结合后，将基线 AUC 提升了 12.2%。
• 在 LAG 视网膜成像数据集上，该方法使用 IGD 检测器将基线 AUC 提升 7.8%，并实现了 87.4% 的 AUC。
• 在异常定位方面，该方法在 Hyper-Kvasir 上实现了 0.372 的平均 IoU，优于 SOTA 方法 CAVGA-Ru 超过 3%。
• 即使在预训练阶段完全未使用任何异常数据，其定位性能相比全监督 U-Net 模型仅损失 0.3–0.4 的 IoU。