[论文解读] 4D Semantic Cardiac Magnetic Resonance Image Synthesis on XCAT Anatomical Model

Samaneh Abbasi-Sureshjani, Sina Amirrajab+4 more|arXiv (Cornell University)|Feb 17, 2020

Generative Adversarial Networks and Image Synthesis参考文献 21被引用 6

一句话总结

本文提出一种混合生成模型，通过结合解剖结构准确的XCAT心脏体模与使用SPADE的条件生成对抗网络（GAN），实现空间感知、模态特异的4D语义心脏磁共振（CMR）图像合成。该方法可生成可控、逼真且解剖学上合理的CMR图像，并支持可学习的风格迁移，为监督式医学成像任务提供可扩展的虚拟人群数据。

ABSTRACT

We propose a hybrid controllable image generation method to synthesize anatomically meaningful 3D+t labeled Cardiac Magnetic Resonance (CMR) images. Our hybrid method takes the mechanistic 4D eXtended CArdiac Torso (XCAT) heart model as the anatomical ground truth and synthesizes CMR images via a data-driven Generative Adversarial Network (GAN). We employ the state-of-the-art SPatially Adaptive De-normalization (SPADE) technique for conditional image synthesis to preserve the semantic spatial information of ground truth anatomy. Using the parameterized motion model of the XCAT heart, we generate labels for 25 time frames of the heart for one cardiac cycle at 18 locations for the short axis view. Subsequently, realistic images are generated from these labels, with modality-specific features that are learned from real CMR image data. We demonstrate that style transfer from another cardiac image can be accomplished by using a style encoder network. Due to the flexibility of XCAT in creating new heart models, this approach can result in a realistic virtual population to address different challenges the medical image analysis research community is facing such as expensive data collection. Our proposed method has a great potential to synthesize 4D controllable CMR images with annotations and adaptable styles to be used in various supervised multi-site, multi-vendor applications in medical image analysis.

研究动机与目标

• 解决监督式深度学习在医学影像中因缺乏标注且逼真的4D心脏MR数据而面临的数据稀缺问题。
• 生成解剖结构准确、时间上一致且模态特异的CMR图像，并附带语义分割标签。
• 实现从真实CMR图像到基于XCAT的合成解剖模型的风格迁移，以提升图像真实感。
• 为多中心、多厂商应用创建灵活的虚拟心脏MR数据人群。
• 提升数据效率，减少心脏影像分析中对昂贵真实数据采集的依赖。

提出的方法

• 该方法使用4D XCAT心脏模型作为具有25个时间帧和18个短轴切面的解剖模板作为真实解剖基准。
• 从XCAT模型生成语义分割标签，并将其作为条件输入，用于SPADE-GAN的图像合成。
• 采用SPADE归一化的条件GAN，在图像生成过程中保持解剖结构之间的空间关系。
• 集成一个风格编码网络，将真实CMR图像中的模态特异性外观特征（如T1加权对比度）迁移至合成输出。
• 通过引入具有实例归一化层的改进VAE，实现对背景结构的控制，提升切片间的一致性。
• 模型在真实CMR数据上进行训练，以学习模态特异性特征，同时保留XCAT的生理运动与解剖结构。

实验结果

研究问题

• RQ1 结合物理驱动体模与数据驱动GAN的混合方法，能否生成逼真、4D、带语义标签的心脏MR图像？
• RQ2 基于SPADE的条件GAN在合成CMR图像中，对解剖结构与空间关系的保持程度如何？
• RQ3 能否有效将真实CMR图像的风格迁移至基于XCAT的合成解剖模型，以提升图像真实感？
• RQ4 在4D体积中，生成图像在时间与切片位置上的可控性与一致性如何？
• RQ5 合成数据能否用于提升多中心、多厂商心脏分割任务的性能？

主要发现

• 所提方法成功基于XCAT作为解剖基础，合成出4D、带语义标签且解剖学上逼真的心脏MR图像。
• SPADE-GAN在全部25个心脏相位与18个短轴切片中均保持了空间结构与类别边界，确保了时间与空间上的一致性。
• 风格编码网络的集成使得真实CMR图像中的全局与局部外观特征能有效迁移至合成输出。
• 在风格编码网络中移除实例归一化层后，背景区域的语义细节丢失，凸显了网络架构设计的重要性。
• 该方法可生成多样化、可控的虚拟心脏MR数据人群，支持解剖结构与成像对比度的灵活调控。
• 初步结果表明，合成数据可有效用于心脏分割任务的数据增强，显著降低对真实数据的依赖。