[论文解读] Conversion Between CT and MRI Images Using Diffusion and Score-Matching Models

Qing Lyu, Ge Wang|arXiv (Cornell University)|Sep 24, 2022

Radiomics and Machine Learning in Medical Imaging被引用 53

一句话总结

本文将扩散与分数匹配生成模型用于从 MRI (T2-weighted) 输入合成 CT 图像，比较多种采样策略与 CNN/GAN 基线，并通过 Monte Carlo 采样量化不确定性。

ABSTRACT

MRI and CT are most widely used medical imaging modalities. It is often necessary to acquire multi-modality images for diagnosis and treatment such as radiotherapy planning. However, multi-modality imaging is not only costly but also introduces misalignment between MRI and CT images. To address this challenge, computational conversion is a viable approach between MRI and CT images, especially from MRI to CT images. In this paper, we propose to use an emerging deep learning framework called diffusion and score-matching models in this context. Specifically, we adapt denoising diffusion probabilistic and score-matching models, use four different sampling strategies, and compare their performance metrics with that using a convolutional neural network and a generative adversarial network model. Our results show that the diffusion and score-matching models generate better synthetic CT images than the CNN and GAN models. Furthermore, we investigate the uncertainties associated with the diffusion and score-matching networks using the Monte-Carlo method, and improve the results by averaging their Monte-Carlo outputs. Our study suggests that diffusion and score-matching models are powerful to generate high quality images conditioned on an image obtained using a complementary imaging modality, analytically rigorous with clear explainability, and highly competitive with CNNs and GANs for image synthesis.

研究动机与目标

• 推动跨模态的 CT-MRI 合成，以实现成本效益更高的多模态诊断和放疗计划。
• 开发以 MRI 为条件的扩散与分数匹配框架，以生成合成 CT 图像。
• 比较多种采样策略（DDPM、基于 SDE 的方法）与 CNN 和 GAN 基线。
• 利用 Monte Carlo 求均和变异性图量化生成 CT 图像的预测不确定性。
• 提供扩散基础方法在跨模态合成中的有效性与可解释性的分析性证明与经验证据。

提出的方法

• 将条件 DDPM 扩展以使用 UNet 去噪器将 MRI (T2w) 映射到 CT 条件生成。
• 将扩散与分数基模型中的条件化适配到 MRI 输入，并推导条件反向过程。
• 实现并比较多种采样策略：DDPM、Euler-Maruyama (EM)、Prediction-Corrector (PC) 和 Ordinary Differential Equation (ODE) 采样。
• 使用带共注册的 MRI-CT 对的 Gold Atlas pelvis 数据集进行训练与评估。
• 通过执行 Monte Carlo 采样（10 次运行）并对结果求平均以获得 DDPM-M、EM-M、PC-M 和 ODE-M 来量化不确定性。

实验结果

研究问题

• RQ1 基于 MRI 条件的扩 Diffusion 与分数匹配模型是否能够生成与高保真度的 CT 图像，相较于 CNN 与 GAN 基线？
• RQ2 不同采样策略（DDPM、EM、PC、ODE）如何影响 MRI-to-CT 合成中的图像质量和推断速度？
• RQ3 基于 MC 的平均对跨模态合成的图像质量和模型不确定性有何影响？
• RQ4 在真实感、细节保留和伪影出现方面，扩散-评分模型与传统深度学习方法的对比如何？

主要发现

• 根据定性和定量指标，扩散与分数匹配模型生成的合成 CT 图像质量高于 CNN 和 GAN 基线。
• Monte Carlo 平均（DDPM-M、EM-M、PC-M、ODE-M）在 SSIM 和 PSNR 得分上优于单样本输出。
• 在采样方法中，ODE 最快，PC 最慢，DDPM 与 EM 提供具有竞争力的质量。
• DDPM 倾向于显示更高的保真度和不确定性，相较于部分基于 SDE 的方法，但跨方法求平均可降低变异性。
• 与 CNN（过度平滑）和 GAN（伪影多）相比，扩散方法在合成 CT 图像中提供更真实的细节且伪影更少。