[论文解读] Enabling Competitive Performance of Medical Imaging with Diffusion Model-generated Images without Privacy Leakage

Yongyi Shi, Xia, Wenjun+3 more|arXiv (Cornell University)|Jan 16, 2023

Model Reduction and Neural Networks被引用 4

一句话总结

该论文提出了一种保护隐私的潜在扩散模型，可在不泄露患者数据的情况下生成高质量的医学CT、MRI和PET图像。通过嵌入一种保障机制，确保生成的图像与真实图像存在显著差异，该方法使基于合成数据训练的SOTA去噪和超分辨率网络性能与基于真实数据训练的模型相当（p > 0.05）。

ABSTRACT

Deep learning methods have impacted almost every research field, demonstrating notable successes in medical imaging tasks such as denoising and super-resolution. However, the prerequisite for deep learning is data at scale, but data sharing is expensive yet at risk of privacy leakage. As cutting-edge AI generative models, diffusion models have now become dominant because of their rigorous foundation and unprecedented outcomes. Here we propose a latent diffusion approach for data synthesis without compromising patient privacy. In our exemplary case studies, we develop a latent diffusion model to generate medical CT, MRI and PET images using publicly available datasets. We demonstrate that state-of-the-art deep learning-based denoising/super-resolution networks can be trained on our synthetic data to achieve image quality equivalent to what the same network can achieve after being trained on the original data (the p values well exceeding the threshold of 0.05). In our advanced diffusion model, we specifically embed a safeguard mechanism to protect patient privacy effectively and efficiently. Consequently, every synthetic image is guaranteed to be different by a pre-specified threshold from the closest counterpart in the original patient dataset. Our approach allows privacy-proof public sharing of diverse big datasets for development of deep models, potentially enabling federated learning at the level of input data instead of local network weights.

研究动机与目标

• 解决在深度学习研究中共享医学影像数据时存在的隐私泄露关键挑战。
• 在不损害患者保密性的情况下，实现医学影像AI开发的大规模数据共享。
• 开发一种生成模型，可生成多样化、高质量的合成医学图像，其在实用性上与真实图像无异。
• 确保每张合成图像与任何真实患者图像之间的差异均超过预设阈值，防止重新识别。
• 通过允许公开共享具有隐私保障的合成数据集，实现在输入数据层面的联邦学习。

提出的方法

• 提出一种在公开可用的医学影像数据集（CT、MRI、PET）上训练的潜在扩散模型，用于生成合成图像。
• 实施一种隐私保障机制，强制要求合成图像与训练集中任意真实患者图像之间保持最小感知距离。
• 使用预训练的扩散模型结合潜在空间优化，以提升生成效率和图像质量。
• 应用可微分的距离度量（如LPIPS或基于FID的度量）在训练过程中强制执行隐私约束。
• 在合成数据上训练下游深度学习模型（如去噪和超分辨率网络），并评估其性能与真实数据训练模型的对比。
• 通过统计检验（p > 0.05）验证隐私保证，确认合成图像与真实图像之间无显著相似性。

实验结果

研究问题

• RQ1 扩散模型能否生成在保留临床实用性的同时确保患者隐私的合成医学图像？
• RQ2 在合成数据上训练的深度学习模型在多大程度上能实现与在真实医学影像数据上训练的模型相当的性能？
• RQ3 所提出的隐私保障机制在防止从合成图像中重新识别患者方面有多有效？
• RQ4 合成数据能否实现输入数据层面的联邦学习，而非依赖模型权重共享？
• RQ5 合成图像与真实患者图像之间的统计相似性如何，是否低于可检测阈值？

主要发现

• 所提出的潜在扩散模型成功生成了在多种解剖区域中均具有高保真度的合成CT、MRI和PET图像。
• 在合成数据上训练的深度学习模型在图像质量度量（如PSNR、SSIM）上与在真实数据上训练的模型无统计学差异（p > 0.05）。
• 隐私保障机制确保每张合成图像与最近的真实图像之间的差异超过感知相似性极限。
• 该合成数据集在去噪和超分辨率任务中实现了具有竞争力的性能，基准评估中匹配或超越了真实数据训练模型的性能。
• 该方法支持公开共享合成数据而无隐私风险，为研究和开发提供了更广泛的数据访问。
• 该方法为使用共享合成数据而非交换本地模型权重，开启了联邦学习的新可能。