[论文解读] Multi-Modality Generative Adversarial Networks with Tumor Consistency Loss for Brain MR Image Synthesis

Bingyu Xin, Yifan Hu+2 more|arXiv (Cornell University)|May 2, 2020

Generative Adversarial Networks and Image Synthesis参考文献 18被引用 5

一句话总结

该论文提出 TC-MGAN，一种多模态生成对抗网络，通过模态标签和一种新型多模态肿瘤一致性损失，从单一 T2 模态合成 FLAIR、T1 和 T1ce 脑部磁共振图像。该方法提升了图像质量并增强了肿瘤保留效果，相较于基线 pix2pix 模型，肿瘤分割准确率提高了 1.8%，并接近全模态性能。

ABSTRACT

Magnetic Resonance (MR) images of different modalities can provide complementary information for clinical diagnosis, but whole modalities are often costly to access. Most existing methods only focus on synthesizing missing images between two modalities, which limits their robustness and efficiency when multiple modalities are missing. To address this problem, we propose a multi-modality generative adversarial network (MGAN) to synthesize three high-quality MR modalities (FLAIR, T1 and T1ce) from one MR modality T2 simultaneously. The experimental results show that the quality of the synthesized images by our proposed methods is better than the one synthesized by the baseline model, pix2pix. Besides, for MR brain image synthesis, it is important to preserve the critical tumor information in the generated modalities, so we further introduce a multi-modality tumor consistency loss to MGAN, called TC-MGAN. We use the synthesized modalities by TC-MGAN to boost the tumor segmentation accuracy, and the results demonstrate its effectiveness.

研究动机与目标

• 为解决临床环境中多模态磁共振成像成本高昂且资源有限的问题。
• 开发一种统一的深度学习框架，能够从单一源模态（T2）合成多种缺失的磁共振模态（FLAIR、T1、T1ce）。
• 在合成的模态之间保持关键的肿瘤形态与空间一致性，这在标准 GAN 基合成方法中常被忽略。
• 通过高保真度的多模态图像合成，提升下游肿瘤分割性能。
• 通过定量图像质量指标和分割 DICE 评分验证所提方法的有效性。

提出的方法

• 将模态标签引入 pix2pix 的生成器与判别器中，使单一网络能够从 T2 合成三种目标模态中的任意一种。
• 采用多模态肿瘤一致性损失，强制源模态（T2）与合成模态（FLAIR、T1、T1ce）之间肿瘤区域的结构对齐。
• 使用 U-Net 作为分割头，作为监督信号，引导生成器更好地保留肿瘤边界与形状。
• 应用梯度惩罚（GP）以稳定 GAN 训练，并使用 L1 损失以保持像素级保真度。
• 通过组合损失函数训练生成器：对抗损失、L1 损失、模态预测分类损失，以及基于分割的肿瘤一致性损失。
• 采用两阶段训练策略，在 100 个周期内进行图像合成训练，随后在 30 个周期内进行分割头微调。

实验结果

研究问题

• RQ1 单一 GAN 基模型能否有效从单一源模态（T2）合成三种不同磁共振模态（FLAIR、T1、T1ce）？
• RQ2 在 pix2pix 框架中引入模态标签是否能提升合成质量并增强在多种目标模态间的泛化能力？
• RQ3 与标准 GAN 损失相比，多模态肿瘤一致性损失是否能显著提升合成磁共振图像中肿瘤结构的保留效果？
• RQ4 使用合成的多模态图像在多大程度上能提升下游肿瘤分割性能？
• RQ5 所提出的 TC-MGAN 与基线模型（如 pix2pix）及替代训练策略（如通过分割头进行端到端反向传播）相比表现如何？

主要发现

• TC-MGAN 在 FLAIR 上取得 24.64 ± 3.43 的 PSNR，T1 上为 25.78 ± 3.94，T1ce 上为 25.68 ± 3.95，所有指标均优于基线 pix2pix。
• 使用 TC-MGAN 合成图像的结构相似性（SSIM）达到 0.9267 ± 0.0386（FLAIR）、0.9520 ± 0.0326（T1）和 0.9390 ± 0.0322（T1ce），表明结构保留效果更优。
• 使用 TC-MGAN 合成图像进行肿瘤分割的 DICE 评分为 0.7585 ± 0.3519，相较于基线 pix2pix（0.7381 ± 0.3611）提升了 1.8%。
• TC-MGAN 的性能比其他任何方法更接近全四模态基线（DICE = 0.8142 ± 0.3003），展现出强大的数据增强潜力。
• 采用通过分割头反向传播的变体（TC-MGAN bw）在 FLAIR 上图像质量略低，分割评分略有下降，表明固定分割头能实现更稳定的肿瘤一致性。
• 引入肿瘤一致性损失显著提升了 SSIM 与分割性能，证实其在保留临床相关肿瘤特征方面的有效性。