[论文解读] AutoPaint: A Self-Inpainting Method for Unsupervised Anomaly Detection

Mehdi Astaraki, Francesca De Benetti+6 more|arXiv (Cornell University)|May 21, 2023

COVID-19 diagnosis using AI被引用 4

一句话总结

AutoPaint 提出了一种自修复填充框架，用于医学影像中的无监督异常检测，利用稳健的图像修复模型重建健康解剖结构，并将肿瘤替换为学习到的正常组织。该方法在肺部和头颈部肿瘤的 PET、CT 及 PET-CT 扫描中实现了最先进性能，无需任何异常标注即可达到与有监督分割方法相当的性能。

ABSTRACT

Robust and accurate detection and segmentation of heterogenous tumors appearing in different anatomical organs with supervised methods require large-scale labeled datasets covering all possible types of diseases. Due to the unavailability of such rich datasets and the high cost of annotations, unsupervised anomaly detection (UAD) methods have been developed aiming to detect the pathologies as deviation from the normality by utilizing the unlabeled healthy image data. However, developed UAD models are often trained with an incomplete distribution of healthy anatomies and have difficulties in preserving anatomical constraints. This work intends to, first, propose a robust inpainting model to learn the details of healthy anatomies and reconstruct high-resolution images by preserving anatomical constraints. Second, we propose an autoinpainting pipeline to automatically detect tumors, replace their appearance with the learned healthy anatomies, and based on that segment the tumoral volumes in a purely unsupervised fashion. Three imaging datasets, including PET, CT, and PET-CT scans of lung tumors and head and neck tumors, are studied as benchmarks for evaluation. Experimental results demonstrate the significant superiority of the proposed method over a wide range of state-of-the-art UAD methods. Moreover, the unsupervised method we propose produces comparable results to a robust supervised segmentation method when applied to multimodal images.

研究动机与目标

• 解决医学影像中监督异常检测缺乏大规模全标注数据集的问题。
• 从未标注数据中学习健康组织的全面、解剖一致表征。
• 开发一种自修复填充流程，以无监督方式自动检测并用重建的健康组织替换肿瘤区域。
• 在无需任何异常标注的情况下，实现与有监督方法相当的分割性能。
• 在多种成像模态（包括 PET、CT 和 PET-CT）上评估该方法的鲁棒性与泛化能力。

提出的方法

• 基于深度学习的图像修复模型仅在健康、未标注的医学影像上进行训练，以重建高分辨率解剖结构，同时保持空间和上下文约束。
• 模型通过关注周围健康组织来预测缺失区域（如肿瘤），采用生成对抗网络（GAN）或类似架构，并结合感知损失与对抗损失。
• 引入一种自修复填充流程：首先将重建误差较高的区域识别为肿瘤，随后用模型生成的健康组织替换。
• 利用重建误差图作为异常检测的分数，同时将修复区域用于生成肿瘤的分割掩码。
• 该方法完全以无监督方式运行，训练过程中无需边界框、掩码或类别标签。
• 该框架在三个临床数据集上进行评估：肺部和头颈部肿瘤的 PET、CT 及 PET-CT 扫描。

实验结果

研究问题

• RQ1 仅在健康图像上训练的自修复填充模型，能否以保持解剖合理性的方式检测并重建肿瘤？
• RQ2 在无标注的情况下，图像修复模型的重建误差与实际肿瘤位置之间是否存在相关性？
• RQ3 无监督自修复填充流程在多模态医学影像上，能在多大程度上实现与有监督方法相当的分割性能？
• RQ4 该方法是否能在不同成像模态（PET、CT、PET-CT）和解剖部位（肺部、头颈部）之间实现良好泛化？
• RQ5 在检测与分割精度方面，该方法与当前最先进无监督异常检测技术相比表现如何？

主要发现

• AutoPaint 在所有三个基准数据集（肺部和头颈部肿瘤的 PET、CT 及 PET-CT 扫描）上均优于广泛采用的最先进无监督异常检测方法。
• 尽管训练过程中完全未使用异常标注，该方法仍实现了与鲁棒有监督分割模型相当的分割性能。
• 重建误差图能有效定位肿瘤，表明模型学习到了健康解剖结构的有意义表征。
• 自修复过程成功地将肿瘤区域替换为解剖上合理的组织，证明了模型在保持结构与上下文完整性方面的能力。
• 该框架在不同成像模态和解剖区域间表现出良好的泛化能力，对成像对比度和分辨率变化具有鲁棒性。
• 消融实验证实，图像修复过程中引入解剖约束可显著提升重建保真度与异常检测准确率。