[论文解读] Medical Diffusion: Denoising Diffusion Probabilistic Models for 3D Medical Image Generation

Firas Khader, Gustav Mueller-Franzes+13 more|arXiv (Cornell University)|Nov 7, 2022

AI in cancer detection被引用 22

一句话总结

论文表明扩散概率模型能够合成高质量的3D医学影像（MRI和CT），并通过合成数据提升下游任务，经专家读者研究和自监督预训练在乳腺分割中的改进进行验证。

ABSTRACT

Recent advances in computer vision have shown promising results in image generation. Diffusion probabilistic models in particular have generated realistic images from textual input, as demonstrated by DALL-E 2, Imagen and Stable Diffusion. However, their use in medicine, where image data typically comprises three-dimensional volumes, has not been systematically evaluated. Synthetic images may play a crucial role in privacy preserving artificial intelligence and can also be used to augment small datasets. Here we show that diffusion probabilistic models can synthesize high quality medical imaging data, which we show for Magnetic Resonance Images (MRI) and Computed Tomography (CT) images. We provide quantitative measurements of their performance through a reader study with two medical experts who rated the quality of the synthesized images in three categories: Realistic image appearance, anatomical correctness and consistency between slices. Furthermore, we demonstrate that synthetic images can be used in a self-supervised pre-training and improve the performance of breast segmentation models when data is scarce (dice score 0.91 vs. 0.95 without vs. with synthetic data). The code is publicly available on GitHub: https://github.com/FirasGit/medicaldiffusion.

研究动机与目标

• 评估扩散概率模型是否能够生成真实的3D医学影像（MRI和CT）。
• 通过专家读者评分在真实感、解剖结构和切片一致性等方面定量评估合成影像质量。
• 展示合成数据在自监督预训练中的有效性，以在数据稀缺时提升分割性能。

提出的方法

• 将去噪扩散概率模型应用于MRI和CT数据的3D医学影像生成。
• 进行一项由两位医学专家参与的读者研究，对合成体积的真实性、解剖正确性和切片一致性进行评分。
• 提供对合成数据有用性的定量评估，包括下游分割任务的改进。
• 展示可公开获取的代码，以复现基于扩散的医学影像合成。

实验结果

研究问题

• RQ1 扩散概率模型是否能够在MRI和CT模态下生成高质量的3D医学影像？
• RQ2 合成的3D医学影像是否在真实感、解剖结构和切片一致性方面获得医学专家的良好评分？
• RQ3 合成数据是否能够扩充小型数据集，在自监督环境下提升下游分割性能？

主要发现

• 扩散模型能够按照专家在真实感、解剖结构和切片一致性方面的评分，合成高质量的MRI和CT影像。
• 在数据稀缺时，合成数据可用于自监督预训练并提升乳腺分割性能（示例：使用合成数据时的 Dice 分数为0.95，未使用时为0.91）。
• 该研究提供定量测量和读者研究以验证生成的医学影像质量。