[论文解读] Bi-parametric prostate MR image synthesis using pathology and sequence-conditioned stable diffusion

Shaheer U. Saeed, Tom Syer+7 more|arXiv (Cornell University)|Mar 3, 2023

Generative Adversarial Networks and Image Synthesis被引用 7

一句话总结

本文提出一种基于病理与序列条件化稳定扩散的双参数前列腺MRI合成方法，可基于文本或成对图像生成逼真的多序列MR图像。其生成图像具有高度真实感，放射科医生在盲评中仅能以59.4%的准确率区分真实与合成图像；该方法在放射科训练和数据增强方面展现出强大潜力，使机器学习模型性能提升5.8%（p=0.004）。

ABSTRACT

We propose an image synthesis mechanism for multi-sequence prostate MR images conditioned on text, to control lesion presence and sequence, as well as to generate paired bi-parametric images conditioned on images e.g. for generating diffusion-weighted MR from T2-weighted MR for paired data, which are two challenging tasks in pathological image synthesis. Our proposed mechanism utilises and builds upon the recent stable diffusion model by proposing image-based conditioning for paired data generation. We validate our method using 2D image slices from real suspected prostate cancer patients. The realism of the synthesised images is validated by means of a blind expert evaluation for identifying real versus fake images, where a radiologist with 4 years experience reading urological MR only achieves 59.4% accuracy across all tested sequences (where chance is 50%). For the first time, we evaluate the realism of the generated pathology by blind expert identification of the presence of suspected lesions, where we find that the clinician performs similarly for both real and synthesised images, with a 2.9 percentage point difference in lesion identification accuracy between real and synthesised images, demonstrating the potentials in radiological training purposes. Furthermore, we also show that a machine learning model, trained for lesion identification, shows better performance (76.2% vs 70.4%, statistically significant improvement) when trained with real data augmented by synthesised data as opposed to training with only real images, demonstrating usefulness for model training.

研究动机与目标

• 解决在控制病灶存在与序列类型条件下生成逼真、临床相关多序列前列腺MR图像的挑战。
• 克服基于GAN的方法在合成细微或代表性不足的前列腺病灶时存在的模式崩溃与训练不稳定等局限性。
• 通过基于文本（如病灶存在）或成对图像（如T2W到DWI合成）的条件控制，实现灵活的数据生成，以用于临床医生与机器学习模型的训练。
• 通过盲评专家评估验证生成图像的真实性，并评估其在提升机器学习模型性能方面的实用性。
• 探索在复杂多模态临床条件（如病理与序列类型）下使用扩散模型进行医学图像合成的可行性。

提出的方法

• 将稳定扩散模型（SD）进行适配，以支持基于图像与基于文本的前列腺MRI合成条件控制。
• 提出一种新型条件机制，可同时控制图像序列（如T2W、ADC）与疑似病灶的存在（如PIRADS ≥3）。
• 利用真实成对数据（如T2W与DWI）进行模型训练，使其能够生成对应图像对，实现从一种模态到另一种模态的条件化合成。
• 使用文本提示指定病灶状态（如“含病灶”或“无病灶”）与序列类型，引导生成过程。
• 在单张NVIDIA Tesla V100 GPU上训练模型，使用来自真实疑似前列腺癌患者的2D轴向切片，训练周期约8天。
• 在相同GPU上，单张图像的推理时间约为10秒，支持在训练与数据增强任务中的实际部署。

实验结果

研究问题

• RQ1 当同时基于文本（如病灶存在）与图像序列进行条件控制时，稳定扩散模型能否生成逼真的双参数前列腺MR图像？
• RQ2 在盲评设置下，专家放射科医生对生成图像的真实感评估结果如何？
• RQ3 当使用合成图像而非真实图像时，放射科医生在病灶检测中的表现是否得以保持？
• RQ4 合成图像在多大程度上可提升用于前列腺病灶检测的机器学习模型性能？
• RQ5 当前模型在解剖区域控制与病灶定位方面存在哪些局限性？

主要发现

• 放射科医生在区分真实与合成MRI图像时整体准确率仅为59.4%，表明图像具有高度真实感（随机猜测水平为50%）。
• 真实图像的病灶识别准确率为60.4%，合成图像为62.6%，差异仅为2.1个百分点，表明具有极强的临床真实感。
• 在真实数据基础上加入合成数据进行训练的机器学习模型，病灶检测准确率达到76.2%，显著优于仅使用真实数据训练的70.4%（p=0.004），具有统计学显著性。
• 模型在各序列上表现一致：真实与合成图像分类的整体准确率为0.594，ADC序列AUC为0.688，T2W序列为0.594。
• 合成图像质量优于条件生成对抗网络（cGAN）基线模型，伪影更少，如腺体结构破裂或补绘错误等现象更少。
• 当前模型主要生成前列腺中央区域的图像，因缺乏位置条件控制，提示未来需在解剖定位控制方面开展进一步研究。