[论文解读] Latent Diffusion Model for Medical Image Standardization and Enhancement

Md. Selim, Jie Zhang+5 more|arXiv (Cornell University)|Oct 8, 2023

Radiomics and Machine Learning in Medical Imaging被引用 4

一句话总结

该论文提出DiffusionCT，一种潜在扩散模型，通过学习将非标准、扫描仪相关的分布转换为一致、标准化的形式，从而对医学CT图像进行标准化和增强。通过在瓶颈处使用DDPM的潜在空间中训练基于U-Net的编码器-解码器，该方法在保持结构完整性方面优于基于GAN的方法，同时在改善放射组学特征一致性方面表现出色。

ABSTRACT

Computed tomography (CT) serves as an effective tool for lung cancer screening, diagnosis, treatment, and prognosis, providing a rich source of features to quantify temporal and spatial tumor changes. Nonetheless, the diversity of CT scanners and customized acquisition protocols can introduce significant inconsistencies in texture features, even when assessing the same patient. This variability poses a fundamental challenge for subsequent research that relies on consistent image features. Existing CT image standardization models predominantly utilize GAN-based supervised or semi-supervised learning, but their performance remains limited. We present DiffusionCT, an innovative score-based DDPM model that operates in the latent space to transform disparate non-standard distributions into a standardized form. The architecture comprises a U-Net-based encoder-decoder, augmented by a DDPM model integrated at the bottleneck position. First, the encoder-decoder is trained independently, without embedding DDPM, to capture the latent representation of the input data. Second, the latent DDPM model is trained while keeping the encoder-decoder parameters fixed. Finally, the decoder uses the transformed latent representation to generate a standardized CT image, providing a more consistent basis for downstream analysis. Empirical tests on patient CT images indicate notable improvements in image standardization using DiffusionCT. Additionally, the model significantly reduces image noise in SPAD images, further validating the effectiveness of DiffusionCT for advanced imaging tasks.

研究动机与目标

• 解决来自不同扫描仪和协议的CT扫描中放射组学特征不一致的挑战。
• 开发一种后处理框架，对现有CT图像进行标准化，而无需更改扫描协议。
• 通过降低TR-LSCI等低信号成像模态中的噪声，提升图像质量。
• 评估扩散模型（尤其是DDPM）在潜在空间中用于医学图像标准化的性能。
• 为多中心和多扫描仪研究提供一种稳健且可泛化的医学影像数据调和解决方案。

提出的方法

• 独立预训练一个基于U-Net的编码器-解码器网络，以学习输入CT图像的潜在表征，不包含DDPM组件。
• 在瓶颈处的潜在空间中训练基于分数的DDPM，同时冻结编码器-解码器的权重。
• 通过在DDPM去噪后的潜在表征上通过解码器，最终生成标准化图像。
• 使用潜在空间中的去噪分数匹配目标进行训练，最小化预测噪声与真实噪声之间的差异。
• 在临床CT扫描和TR-LSCI幻像图像上评估该方法，采用SSIM、PSNR和CCC等指标。
• 使用ResNet-18编码器进行特征提取，未来工作将考虑VGG和普通U-Net架构。

实验结果

研究问题

• RQ1 潜在扩散模型能否有效实现跨多种扫描仪和采集协议的CT图像标准化？
• RQ2 基于DDPM的方法在医学图像标准化中与基于GAN的方法相比表现如何？
• RQ3 在潜在空间中训练DDPM是否能在提升特征一致性的同时保留结构细节？
• RQ4 该模型能否有效降低TR-LSCI等低信号成像模态中的噪声？
• RQ5 该模型对放射组学特征一致性的影响如何，特别是对GLCM等纹理特征？

主要发现

• DiffusionCT在GLCM特征上实现了0.86的组内一致性相关系数（CCC），显著优于基于GAN的模型和普通DDPM。
• 在TR-LSCI图像去噪中，SSIM从0.44提升至0.77，PSNR从12.50提升至23.75，结果接近真实值。
• 潜在空间DDPM方法在性能上与图像空间DDPM相当，但模型更紧凑、效率更高。
• 该模型成功降低了纹理特征的跨扫描仪变异性，提升了下游放射组学分析的可靠性。
• 实证结果证实，该模型在生成标准化图像的同时，有效保留了解剖细节，并实现了特征的一致性。
• 该方法在无需协议标准化的前提下，为多中心医学影像研究提供了特征调和的强大潜力。