[论文解读] Generative Adversarial Network for Image Synthesis

Yang Lei, Richard L. J. Qiu+4 more|arXiv (Cornell University)|Dec 31, 2020

Generative Adversarial Networks and Image Synthesis参考文献 82被引用 4

一句话总结

本文综述了条件生成对抗网络（cGAN）和Cycle-GAN架构在医学与生物医学图像合成中的应用，展示了其从MRI或CT等源模态生成高保真度合成图像的能力。主要贡献在于对网络结构设计、临床应用及挑战的系统性分析——特别是cGAN对成对数据的依赖性，以及无成对数据的Cycle-GAN在性能上的权衡。

ABSTRACT

This chapter reviews recent developments of generative adversarial networks (GAN)-based methods for medical and biomedical image synthesis tasks. These methods are classified into conditional GAN and Cycle-GAN according to the network architecture designs. For each category, a literature survey is given, which covers discussions of the network architecture designs, highlights important contributions and identifies specific challenges.

研究动机与目标

• 综述生成对抗网络（GAN）在医学与生物医学图像合成方面的最新进展。
• 基于其设计原理与在图像合成任务中的表现，对cGAN与Cycle-GAN架构进行分类与分析。
• 突出关键贡献，并识别临床部署中的持续挑战，如对成对数据的依赖性以及对罕见解剖结构病例的泛化能力。
• 评估基于GAN的方法在生成逼真合成图像方面相较于传统基于模型的方法的性能表现。
• 探讨GAN在临床应用中的潜力，包括仅MRI放疗计划、图像去噪以及合成数据生成。

提出的方法

• 本研究采用文献综述方法，聚焦PubMed中经同行评审的期刊与会议论文，使用与图像合成、深度学习、GAN及医学成像模态相关的关键词进行检索。
• 根据其训练范式，将网络架构分为条件生成对抗网络（cGAN）与Cycle-GAN：cGAN使用成对的源-目标图像数据进行训练，而Cycle-GAN则在无成对数据上通过循环一致性损失进行训练。
• cGAN框架包含一个生成器网络，学习将源图像映射到目标图像，以及一个判别器，通过对抗训练区分真实图像与生成图像。
• Cycle-GAN通过在两步变换（X → Y → X）后强制图像重建，实现循环一致性，从而减少对成对数据的依赖。
• 性能评估基于图像的视觉真实感与定量指标，如结构相似性指数（SSIM）、峰值信噪比（PSNR）和均方误差（MSE），尽管本文未报告具体数值。
• 分析涵盖临床应用，如仅MRI放疗计划、PET/MRI图像合成、质子停止功率估计，以及基于GAN的图像质量增强。

实验结果

研究问题

• RQ1 在不同成像模态下，cGAN与Cycle-GAN架构在生成逼真医学合成图像方面的表现如何比较？
• RQ2 cGAN与Cycle-GAN中的关键架构创新是什么，使其能够在医学成像中实现高保真度图像合成？
• RQ3 基于GAN的方法在图像合成任务（如去噪、超分辨率与图像重建）中，相较于传统基于模型的方法，性能提升程度如何？
• RQ4 在临床部署中，GAN面临的主要挑战是什么，特别是对成对数据的需求以及对罕见或易产生伪影的解剖结构病例的鲁棒性？
• RQ5 基于GAN的方法如何处理分布外输入（如带有植入物、肥胖或解剖异常的患者）的泛化能力？

主要发现

• 基于GAN的方法，特别是cGAN与Cycle-GAN，生成的合成图像比传统基于模型的方法更具真实感，视觉保真度更高，且与真实图像在定量指标上更接近。
• cGAN需要具有像素级对应关系的成对训练数据，这在数据收集与图像配准精度方面带来挑战。
• Cycle-GAN通过强制循环一致性，降低了对成对数据的需求，使无成对数据集的训练成为可能，从而提升了在大规模临床队列中的可扩展性。
• 尽管图像质量更优，但在某些合成任务中，Cycle-GAN在PSNR或SSIM等数值指标上与cGAN相比可能无显著提升，原因在于残余分布不匹配。
• 基于GAN的模型在分布外情况（如髋关节假体、植入物或严重伪影的患者）下的泛化能力较差，而这些情况在当前文献中仍研究不足。
• 一旦训练完成，GAN模型可在数秒至数分钟内生成合成图像，使其在临床部署中具备实用性，尽管训练时间可能长达数小时至数天。