[论文解读] Adaptive Latent Diffusion Model for 3D Medical Image to Image Translation: Multi-modal Magnetic Resonance Imaging Study

Jonghun Kim, Hyunjin Park|arXiv (Cornell University)|Nov 1, 2023

Generative Adversarial Networks and Image Synthesis被引用 4

一句话总结

该论文提出了一种用于3D医学图像到图像转换的自适应潜在扩散模型（ALDM），采用可切换的空间自适应归一化（MS-SPADE）模块，实现在无需图像块裁剪的情况下，对多模态MRI进行高保真度的一对多转换。该模型在BraTS和IXI数据集上实现了最先进性能，无论在定量指标还是在多种源-目标模态对之间的泛化能力方面均优于现有方法。

ABSTRACT

Multi-modal images play a crucial role in comprehensive evaluations in medical image analysis providing complementary information for identifying clinically important biomarkers. However, in clinical practice, acquiring multiple modalities can be challenging due to reasons such as scan cost, limited scan time, and safety considerations. In this paper, we propose a model based on the latent diffusion model (LDM) that leverages switchable blocks for image-to-image translation in 3D medical images without patch cropping. The 3D LDM combined with conditioning using the target modality allows generating high-quality target modality in 3D overcoming the shortcoming of the missing out-of-slice information in 2D generation methods. The switchable block, noted as multiple switchable spatially adaptive normalization (MS-SPADE), dynamically transforms source latents to the desired style of the target latents to help with the diffusion process. The MS-SPADE block allows us to have one single model to tackle many translation tasks of one source modality to various targets removing the need for many translation models for different scenarios. Our model exhibited successful image synthesis across different source-target modality scenarios and surpassed other models in quantitative evaluations tested on multi-modal brain magnetic resonance imaging datasets of four different modalities and an independent IXI dataset. Our model demonstrated successful image synthesis across various modalities even allowing for one-to-many modality translations. Furthermore, it outperformed other one-to-one translation models in quantitative evaluations.

研究动机与目标

• 为解决临床环境中因成本、时间或安全限制导致的多模态MRI扫描缺失问题。
• 克服基于2D GAN的方法在跨切片过程中无法保持3D结构一致性的局限。
• 开发一种单一、灵活的模型，无需微调即可实现对多个目标模态的一对多图像转换。
• 消除训练和推理过程中对图像块裁剪的需求，从而在医学图像生成中保留全局3D上下文信息。
• 通过引入自适应风格控制的潜在扩散机制，提升3D医学图像到图像转换的性能与泛化能力。

提出的方法

• 该模型采用直接在完整3D医学体积上运行的3D潜在扩散框架，避免基于图像块的训练与推理。
• 采用条件去噪机制，将目标模态作为条件信号，引导生成过程。
• 核心创新在于MS-SPADE（多模式可切换空间自适应归一化）模块，可动态调整源潜变量的风格，使其匹配目标模态的分布。
• MS-SPADE通过根据目标模态切换归一化统计量，使单一模型能够处理多种转换任务（如T1→T2，T1→FLAIR）。
• 模型采用基于VQ-VAE的潜在瓶颈结构，结合可学习的码书，实现高效的3D潜在空间表征。
• 结合L2损失与VQ正则化损失，确保高保真度重建，并生成解耦且语义有意义的潜在特征。

实验结果

研究问题

• RQ1 单一3D潜在扩散模型是否能在不重新训练的情况下泛化于多种源-目标模态转换任务？
• RQ2 MS-SPADE模块的使用是否能提升性能并实现3D医学图像生成中的一对多转换？
• RQ3 与现有2D及3D GAN基方法相比，该模型在图像质量与结构一致性方面表现如何？
• RQ4 该模型是否能在不进行图像块裁剪的情况下生成高保真度3D图像，从而保留全局解剖上下文？
• RQ5 各组件（扩散、调色板、MS-SPADE、压缩）对最终转换性能的贡献分别是什么？

主要发现

• 在T1→T2转换任务中，所提出的ALDM在所有对比方法中取得了最高的PSNR（25.818 ± 0.857）、最低的NMSE（0.079 ± 0.016）和最高的SSIM（0.904 ± 0.012）。
• 在T1→T1ce转换任务中，模型达到PSNR 25.818 ± 0.857，优于所有消融变体与基线模型。
• 当以T1ce作为源模态生成T1、T1ce、T2和FLAIR目标时，模型表现出卓越性能，表明其具备强大鲁棒性与泛化能力。
• 消融研究证实，包含全部组件（扩散、调色板、MS-SPADE、VQ正则化）的完整模型性能最佳，且各组件贡献呈递增趋势。
• 模型成功实现了从单一源输入生成多个目标模态的一对多转换，仅依赖单一统一架构。
• 在BraTS和IXI数据集上，该模型均优于现有的一对一转换模型，在定量指标与视觉质量方面均达到最先进水平。