[论文解读] Beware of diffusion models for synthesizing medical images -- A comparison with GANs in terms of memorizing brain MRI and chest x-ray images

Muhammad Usman Akbar, Wuhao Wang+1 more|arXiv (Cornell University)|May 12, 2023

Advanced Neuroimaging Techniques and Applications被引用 4

一句话总结

本研究比较了扩散模型与StyleGAN在生成脑部MRI和胸部X光片图像方面的表现，发现扩散模型对训练数据的记忆程度明显高于生成对抗网络（GANs），尤其是在小样本数据集和2D切片上，这引发了医学图像生成中的隐私担忧。

ABSTRACT

Diffusion models were initially developed for text-to-image generation and are now being utilized to generate high quality synthetic images. Preceded by GANs, diffusion models have shown impressive results using various evaluation metrics. However, commonly used metrics such as FID and IS are not suitable for determining whether diffusion models are simply reproducing the training images. Here we train StyleGAN and a diffusion model, using BRATS20, BRATS21 and a chest x-ray pneumonia dataset, to synthesize brain MRI and chest x-ray images, and measure the correlation between the synthetic images and all training images. Our results show that diffusion models are more likely to memorize the training images, compared to StyleGAN, especially for small datasets and when using 2D slices from 3D volumes. Researchers should be careful when using diffusion models (and to some extent GANs) for medical imaging, if the final goal is to share the synthetic images.

研究动机与目标

• 评估扩散模型与生成对抗网络在医学图像合成中的记忆化行为。
• 评估FID和IS等常用指标是否能够检测合成医学图像中的记忆化现象。
• 研究数据集规模和2D切片提取对扩散模型与生成对抗网络记忆化的影响。
• 为生成模型在医学影像中的负责任使用提供建议，特别是关于数据隐私方面。
• 比较扩散模型与StyleGAN在临床图像生成中泛化与记忆化之间的权衡。

提出的方法

• 在BRATS20、BRATS21和胸部X光肺炎数据集上分别训练了StyleGAN和扩散模型，用于脑部MRI和胸部X光图像的生成。
• 从3D MRI影像中提取2D轴向切片，以在接近临床实际的条件下评估记忆化现象。
• 通过计算合成图像与所有训练图像之间的相关性来量化记忆化程度，使用图像级别的相似性度量指标。
• 在不同规模的数据集上评估模型性能，以分析数据稀缺对记忆化的影响。
• 在标准生成模型评估指标（FID、IS）的基础上，结合专门针对记忆化的分析方法，对比模型行为差异。
• 在完全相同的训练与评估协议下，比较扩散模型与StyleGAN的记忆化率。

实验结果

研究问题

• RQ1 在生成脑部MRI和胸部X光图像时，扩散模型的记忆化率与StyleGAN相比如何？
• RQ2 扩散模型在多大程度上复制了训练图像而非实现泛化，尤其是在小样本数据集上？
• RQ3 从3D影像中提取2D切片对扩散模型和生成对抗网络的记忆化有何影响？
• RQ4 FID和IS等标准生成模型指标是否足以检测医学图像合成中的记忆化现象？
• RQ5 在临床环境中使用扩散模型生成合成医学图像，其隐私影响是什么？

主要发现

• 扩散模型对训练图像的记忆化程度显著高于StyleGAN，尤其在小样本数据集上表现更为明显。
• 在从3D MRI影像中生成2D切片时，记忆化现象更为突出，表明解剖结构上下文会影响记忆化模式。
• 在所有数据集中，扩散模型生成的图像与训练图像之间的相关性始终高于StyleGAN。
• FID和IS等标准指标无法检测记忆化现象，表明它们不足以评估医学图像合成中的隐私风险。
• 即使FID分数相近，扩散模型生成的图像也比生成对抗网络更常产生与训练图像完全相同或高度相似的副本。
• 数据稀缺会加剧记忆化风险，使得在训练数据有限的情况下，扩散模型在隐私敏感的医学图像生成任务中适用性降低。