[论文解读] GANs for Medical Image Synthesis: An Empirical Study

Youssef Skandarani, Pierre‐Marc Jodoin+1 more|arXiv (Cornell University)|May 11, 2021

Generative Adversarial Networks and Image Synthesis被引用 28

一句话总结

该论文在三种医学影像模态下评估多种 GAN 架构（心脏 Cine-MRI、肝 CT 与视网膜图像），使用 FID 与下游分割（Dice）来评估合成数据的有用性，结果发现 StyleGAN 与 SPADE 在图像保真度方面表现出色，但均未能再现数据集的全部丰富性；单独的 FID 不能可靠预测分割性能。

ABSTRACT

Generative Adversarial Networks (GANs) have become increasingly powerful, generating mind-blowing photorealistic images that mimic the content of datasets they were trained to replicate. One recurrent theme in medical imaging is whether GANs can also be effective at generating workable medical data as they are for generating realistic RGB images. In this paper, we perform a multi-GAN and multi-application study to gauge the benefits of GANs in medical imaging. We tested various GAN architectures from basic DCGAN to more sophisticated style-based GANs on three medical imaging modalities and organs namely : cardiac cine-MRI, liver CT and RGB retina images. GANs were trained on well-known and widely utilized datasets from which their FID score were computed to measure the visual acuity of their generated images. We further tested their usefulness by measuring the segmentation accuracy of a U-Net trained on these generated images. Results reveal that GANs are far from being equal as some are ill-suited for medical imaging applications while others are much better off. The top-performing GANs are capable of generating realistic-looking medical images by FID standards that can fool trained experts in a visual Turing test and comply to some metrics. However, segmentation results suggests that no GAN is capable of reproducing the full richness of a medical datasets.

研究动机与目标

• 评估各种 GAN 架构在不同器官与模态下生成现实医学图像的能力。
• 确定合成医学图像是否能有效增强下游任务（如分割）的训练。
• 调查标准 GAN 保真度指标（FID）与下游任务性能之间的关系。
• 识别影响医学图像 GAN 实用性的实际因素（数据规模、计算、稳定性）。

提出的方法

• 选择一系列 GAN 架构（DCGAN、LSGAN、WGAN、HingeGAN、SPADE、StyleGAN），基于流行度和硬件兼容性。
• 在三组数据集上训练 GAN（ACDC 心脏 Cine-MRI、SLIVER07 肝 CT、IDRiD 视网膜图像），进行广泛的超参数搜索（约 500 GPU-日）。
• 使用 Frechet Inception Distance (FID) 评估图像保真度，并通过在合成数据上训练 U-Net 分割模型并在真实测试集上测量 Dice 分数来评估下游实用性。
• 将图像和掩模通道并行学习联合分布，除了 SPADE，它是以分割掩模为条件。
• 比较增强的真实数据、合成数据单独使用，以及两者的组合，以评估实际效用。
• 讨论用来稳定 GAN 的训练技巧（标签平滑、特征匹配、可微分增广）。

实验结果

研究问题

• RQ1 state-of-the-art 与传统 GAN 是否在 MRI、CT、视网膜数据集上产生医学上可信且多样的图像？
• RQ2 GAN 生成的图像能否显著增强在真实数据上训练的下游分割网络？
• RQ3 FID 分数与医学成像的任务特定 Dice 分数之间的关系如何，是否存在更合适的领域相关指标？
• RQ4 数据集规模、三维考虑、计算等实际因素如何影响基于 GAN 的医学影像合成数据的有效性？

主要发现

• StyleGAN 与 SPADE 在图像保真度和 Dice 分数方面在各数据集表现最佳，StyleGAN 在 ACDC 达到 87% Dice，SPADE 根据数据集在 0.82–0.86 Dice。
• 简单 GAN（DCGAN、LSGAN、WGAN、HingeGAN）表现差或波动，常产生退化图像和不稳定的分割性能。
• GAN 生成的数据很少达到真实数据带来的分割性能，使用 GAN 数据的增强通常与传统增强相当，或未超过它们。
• FID 与人工感知的视觉质量相关，但不能可靠预测下游分割性能；一些模型具有低 FID 但记忆训练数据（如 IDRiD 的 SPADE，FID 1.09，Dice 82%）。
• 更多数据（如 SLIVER07 这样的更大数据集）通常比非常小的数据集（IDRiD）带来更好的 FID 和下游性能。
• 高质量的医学生成通常需要现代、计算密集型的架构，且在许多 GAN 的 2D 特性下仍可能受限于数据本质上是 3D。