[论文解读] DiamondGAN: Unified Multi-Modal Generative Adversarial Networks for MRI Sequences Synthesis

Hongwei Li, Johannes C. Paetzold+6 more|arXiv (Cornell University)|Apr 29, 2019

Generative Adversarial Networks and Image Synthesis参考文献 14被引用 4

一句话总结

DiamondGAN 提出了一种统一且可扩展的生成对抗网络，用于多模态 MRI 序列合成，能够从任意非对齐输入序列（T1、T2、FLAIR）灵活地进行跨模态转换，生成目标序列（DIR、T1-c）。其合成的 DIR 图像在放射科医生评估中达到难以区分的水平，专家评估显示真实图像与合成图像之间无显著差异（p = 0.1432）。

ABSTRACT

Synthesizing MR imaging sequences is highly relevant in clinical practice, as single sequences are often missing or are of poor quality (e.g. due to motion). Naturally, the idea arises that a target modality would benefit from multi-modal input, as proprietary information of individual modalities can be synergistic. However, existing methods fail to scale up to multiple non-aligned imaging modalities, facing common drawbacks of complex imaging sequences. We propose a novel, scalable and multi-modal approach called DiamondGAN. Our model is capable of performing exible non-aligned cross-modality synthesis and data infill, when given multiple modalities or any of their arbitrary subsets, learning structured information in an end-to-end fashion. We synthesize two MRI sequences with clinical relevance (i.e., double inversion recovery (DIR) and contrast-enhanced T1 (T1-c)), reconstructed from three common sequences. In addition, we perform a multi-rater visual evaluation experiment and find that trained radiologists are unable to distinguish synthetic DIR images from real ones.

研究动机与目标

• 解决因运动伪影或扫描协议差异导致的 MRI 序列缺失或质量差的临床挑战。
• 克服现有 GAN 模型对空间对齐的要求，或仅限于一对一或一对多映射的局限性。
• 实现从任意输入模态子集出发的可扩展、端到端多对一跨模态合成学习。
• 提升临床相关序列（如双反转恢复序列 DIR 和增强对比 T1 序列 T1-c）的合成质量。
• 通过经验丰富的神经放射科医生进行多评级评估，验证合成结果的临床合理性。

提出的方法

• 引入一个条件向量 c，用于编码输入模态的存在情况（例如，[1,1,1] 表示包含 T1、T2、FLAIR），并将其空间广播以匹配图像尺寸。
• 设计一种双流生成器架构，同时接收多模态输入和条件向量，以生成目标模态输出。
• 采用多模态循环一致性损失，以在无空间对齐的情况下，对各种输入组合强制保持结构一致性。
• 使用成对判别器（D1 和 D2）分别区分来自输入模态的真实图像与合成图像，以及目标输出的真实图像与合成图像。
• 采用统一框架进行端到端训练，支持所有可能的输入子集，避免为每种组合单独训练模型。
• 仅使用单一生成器和判别器对，适用于所有输入组合，从而实现可扩展性与高效推理。

实验结果

研究问题

• RQ1 统一的 GAN 框架能否有效从任意非对齐的多模态输入子集中合成高质量的 MRI 序列？
• RQ2 与单模态输入相比，多模态输入是否显著提升复杂序列（如 DIR 和 T1-c）的合成质量？
• RQ3 在专家放射科医生的临床评估中，合成的 MRI 序列是否与真实图像难以区分？
• RQ4 所提出的多模态循环一致性损失在输入模态缺失或变化的情况下，如何提升模型的鲁棒性与泛化能力？
• RQ5 DiamondGAN 在 MRI 合成的定量与定性指标上，相较于基线模型（如 CycleGAN）的性能提升程度如何？

主要发现

• 与 CycleGAN 相比，DiamondGAN 在 DIR 合成中实现了统计显著的 PSNR 和 MAE 改进（p < 0.0001），当使用全部三种输入模态时，PSNR 达到 18.63，MAE 为 0.058。
• 使用 T1+T2+Flair 输入生成的合成 DIR 图像获得放射科医生平均 4.54 分（满分 5 分），接近真实 DIR 图像的 4.7 分，且无显著差异（p = 0.1432）。
• 当使用全部三种输入模态时，放射科医生无法区分合成 DIR 图像与真实图像，表明其具有高度的临床合理性。
• T1+T2+Flair 组合在所有配置中对 DIR 的 PSNR 最高（18.63），MAE 最低（0.058），对 T1-c 的 PSNR 最高（20.86），MAE 最低（0.045）。
• 仅基于 FLAIR 的合成结果在放射科医生评估中始终被认为不可信，凸显了多模态输入对复杂序列合成的重要性。
• 该模型在所有输入子集上均表现出稳健性能，无需为每种组合重新训练，证实了其可扩展性与灵活性。