[论文解读] Segmentation of Multimodal Myocardial Images Using Shape-Transfer GAN

Xumin Tao, Hongrong Wei+2 more|arXiv (Cornell University)|Aug 14, 2019

Generative Adversarial Networks and Image Synthesis参考文献 5被引用 4

一句话总结

本文提出了一种形状迁移生成对抗网络（Shape-Transfer GAN），能够从平衡稳态自由进动（bSSFP）电影图像生成逼真的延迟钆增强（LGE）心脏磁共振图像，同时保持心肌解剖形状，从而实现无需使用LGE特异性分割标签的端到端LGE图像分割。在40名患者的测试集中，该方法在左心室、右心室和心肌的Dice分数分别达到0.847、0.776和0.686，尽管训练过程中未使用LGE真实标签，仍表现出强劲性能。

ABSTRACT

Myocardium segmentation of late gadolinium enhancement (LGE) Cardiac MR images is important for evaluation of infarction regions in clinical practice. The pathological myocardium in LGE images presents distinctive brightness and textures compared with the healthy tissues, making it much more challenging to be segment. Instead, the balanced-Steady State Free Precession (bSSFP) cine images show clearly boundaries and can be easily segmented. Given this fact, we propose a novel shape-transfer GAN for LGE images, which can 1) learn to generate realistic LGE images from bSSFP with the anatomical shape preserved, and 2) learn to segment the myocardium of LGE images from these generated images. It's worth to note that no segmentation label of the LGE images is used during this procedure. We test our model on dataset from the Multi-sequence Cardiac MR Segmentation Challenge. The results show that the proposed Shape-Transfer GAN can achieve accurate myocardium masks of LGE images.

研究动机与目标

• 解决深度学习分割模型训练中LGE心脏MRI标注数据有限的挑战。
• 改善因强度异质性和边界定义不清而难以分割的LGE图像中的心肌分割效果。
• 开发一种方法，利用bSSFP图像中清晰定义的结构，合成保持解剖形状的逼真LGE图像。
• 在由bSSFP图像生成的合成图像-标签对上训练分割网络，避免手动标注LGE图像的需求。
• 在MS-CMRSeg 2019挑战赛的大规模数据集上验证该方法，证明其在真实LGE图像上的泛化能力。

提出的方法

• 设计了一种条件生成对抗网络框架，学习从bSSFP图像域到LGE图像域的映射，同时保留解剖形状并转移强度特征。
• 引入循环一致性损失，确保生成的LGE图像可被重建回原始bSSFP输入，从而提升图像保真度。
• 通过在生成器中嵌入分割网络，提出一种新型形状保持损失，强制生成的LGE图像保留输入bSSFP图像的心肌轮廓。
• 分割网络在从bSSFP图像导出的合成图像-标签对上进行端到端训练，训练期间仅使用bSSFP分割标签。
• 通过对抗损失训练生成器，以生成逼真的LGE风格图像，同时判别器负责区分真实LGE图像与生成图像。
• 最终的分割模型可直接应用于真实LGE图像，无需进一步微调，充分利用了形状一致的生成过程。

实验结果

研究问题

• RQ1 基于生成对抗网络的框架能否在生成逼真的强度模式的同时，将bSSFP图像的解剖形状迁移到LGE图像？
• RQ2 在无真实标签用于训练的情况下，形状保持的图像合成是否能提升LGE图像的分割性能？
• RQ3 在缺乏LGE分割标签的情况下，所提出的形状迁移生成对抗网络与U-Net和标准生成对抗网络等基线方法相比表现如何？
• RQ4 该模型能否在未见过的真实LGE图像上实现泛化，而无需在真实LGE数据上进行微调？
• RQ5 形状保持对合成图像-标签对的质量以及下游分割准确率有何影响？

主要发现

• 在40名患者的LGE图像上，形状迁移生成对抗网络在左心室分割中取得0.847 ± 0.054的Dice分数，显著优于U-Net（0.249 ± 0.197）和无形状保持的生成对抗网络（0.589 ± 0.190）。
• 在右心室分割中，该方法取得0.776 ± 0.048的Dice分数，表明在复杂且低对比度区域具有鲁棒性。
• 心肌分割Dice分数达到0.686 ± 0.078，表明能有效捕捉具有异质性强度的病理组织。
• 与基于高斯混合模型的方法相比，该方法在简洁性和可扩展性方面更具优势，且性能与最先进方法（如SRSCN）相当。
• 消融实验确认形状保持至关重要，移除该机制后，所有结构的Dice分数均下降超过20%。
• 可视化结果表明，该模型成功恢复了真实标签中缺失的右心室区域，表明其具有更高的解剖合理性。