[论文解读] MedSyn: Text-guided Anatomy-aware Synthesis of High-Fidelity 3D CT Images

Yanwu Xu, Li Sun+3 more|arXiv (Cornell University)|Oct 5, 2023

Generative Adversarial Networks and Image Synthesis被引用 4

一句话总结

MedSyn 提出了一种分层的、文本引导的扩散模型，用于高保真度 3D 肺部 CT 图像合成，利用放射科报告和解剖分割掩码来引导生成过程。该方法在 256³ 分辨率下实现了最先进的性能，能够有效保留细粒度解剖结构（如裂隙、气管和血管），显著优于 GAN 和扩散基线模型。

ABSTRACT

This paper introduces an innovative methodology for producing high-quality 3D lung CT images guided by textual information. While diffusion-based generative models are increasingly used in medical imaging, current state-of-the-art approaches are limited to low-resolution outputs and underutilize radiology reports' abundant information. The radiology reports can enhance the generation process by providing additional guidance and offering fine-grained control over the synthesis of images. Nevertheless, expanding text-guided generation to high-resolution 3D images poses significant memory and anatomical detail-preserving challenges. Addressing the memory issue, we introduce a hierarchical scheme that uses a modified UNet architecture. We start by synthesizing low-resolution images conditioned on the text, serving as a foundation for subsequent generators for complete volumetric data. To ensure the anatomical plausibility of the generated samples, we provide further guidance by generating vascular, airway, and lobular segmentation masks in conjunction with the CT images. The model demonstrates the capability to use textual input and segmentation tasks to generate synthesized images. The results of comparative assessments indicate that our approach exhibits superior performance compared to the most advanced models based on GAN and diffusion techniques, especially in accurately retaining crucial anatomical features such as fissure lines, airways, and vascular structures. This innovation introduces novel possibilities. This study focuses on two main objectives: (1) the development of a method for creating images based on textual prompts and anatomical components, and (2) the capability to generate new images conditioning on anatomical elements. The advancements in image generation can be applied to enhance numerous downstream tasks.

研究动机与目标

• 开发一种基于自由文本放射科报告生成高分辨率 3D CT 图像的方法。
• 解决 3D 体积扩散模型在内存消耗和解剖保真度方面的挑战。
• 整合解剖分割（气管、肺叶、血管）作为辅助引导，以提升结构合理性。
• 实现对复杂肺部解剖结构的可控、文本条件化合成，具备细粒度病理控制能力。
• 证明仅使用文本和分割先验即可在 256³ 分辨率下生成临床真实感 3D CT 体积的可行性。

提出的方法

• 采用分层生成框架，首先基于文本和噪声生成 64³ 低分辨率体积，再逐步上采样至 256³。
• 使用改进的 UNet 架构，结合空间注意力与通道注意力，高效处理高分辨率 3D 特征。
• 利用放射科报告生成的文本嵌入作为条件先验，在每个阶段引导去噪过程。
• 并行预测解剖分割掩码（气管、肺叶、血管），以强化解剖一致性。
• 在约 9,000 对 3D CT 扫描与放射科报告上端到端训练，采用去噪扩散目标函数。
• 采用两阶段训练策略，将低分辨率生成与高分辨率优化解耦，降低内存需求。

实验结果

研究问题

• RQ1 文本引导的 3D 扩散模型是否能在 256³ 分辨率下生成高保真度肺部 CT 体积，同时保留细粒度解剖结构？
• RQ2 整合解剖分割掩码在多大程度上提升了生成 CT 图像的合理性与保真度？
• RQ3 放射科报告在多大程度上能有效引导 3D CT 体积中复杂病理特征的合成？
• RQ4 分层生成方法是否能有效降低内存消耗，同时不损失图像质量？
• RQ5 该模型能否生成多样化且解剖上合理的样本，准确反映放射科报告中描述的细微差异？

主要发现

• 与最先进的 GAN 和扩散模型相比，MedSyn 在解剖保真度方面表现更优，尤其在保留裂隙线、气管和血管结构方面优势显著。
• 模型生成的 256³ 分辨率 3D CT 体积具有高感知质量，经定性和定量对比验证。
• 引入文本提示后，分割性能得到提升，气管的 DSC 从 0.70 提升至 0.75，肺叶的 DSC 从 0.69 提升至 0.77。
• 分层设计通过分阶段生成有效降低内存消耗，使高分辨率训练与推理成为可能。
• 模型在生成报告中描述的全局解剖结构和病理特征方面表现出强鲁棒性，但细微的高分辨率变化仍具挑战。
• 模型在提示引导的体积分割方面展现出潜力，当条件依赖于放射科报告时，性能有所提升。