[论文解读] Deep Generative Adversarial Neural Networks for Realistic Prostate Lesion MRI Synthesis

Andy Kitchen, Jarrel Seah|arXiv (Cornell University)|Aug 1, 2017

Generative Adversarial Networks and Image Synthesis参考文献 5被引用 11

一句话总结

本文提出一种深度卷积生成对抗网络（DCGAN），用于从SPIE ProstateX挑战赛2016数据集中合成逼真、多模态的前列腺病灶MRI图像块。通过在330个T2、ADC和Ktrans加权MRI图像块上进行训练，该模型生成了连贯、多样且解剖学上合理的病灶图像，其纹理、对比度和模态一致性与真实数据一致，且潜在空间平滑，支持不同病灶形态之间的有意义插值。

ABSTRACT

Generative Adversarial Neural Networks (GANs) are applied to the synthetic generation of prostate lesion MRI images. GANs have been applied to a variety of natural images, is shown show that the same techniques can be used in the medical domain to create realistic looking synthetic lesion images. 16mm x 16mm patches are extracted from 330 MRI scans from the SPIE ProstateX Challenge 2016 and used to train a Deep Convolutional Generative Adversarial Neural Network (DCGAN) utilizing cutting edge techniques. Synthetic outputs are compared to real images and the implicit latent representations induced by the GAN are explored. Training techniques and successful neural network architectures are explained in detail.

研究动机与目标

• 使用深度生成模型生成逼真、多样且解剖学上合理的前列腺病灶MRI图像。
• 探索将生成对抗网络（GAN）应用于医学影像的可行性，特别是用于匿名化数据合成与数据增强。
• 在统一的生成框架下，评估合成MRI图像块在多个模态（T2、ADC、Ktrans）上的质量。
• 研究生成器所学习的隐式潜在表示对前列腺病灶形态的建模能力。
• 证明即使训练数据有限，GAN也能生成高保真度的合成医学图像。

提出的方法

• 在330例前列腺MRI扫描中提取的16mm × 16mm图像块上训练深度卷积GAN，包含三种对齐的模态：T2、ADC和Ktrans。
• 生成器使用转置卷积、Leaky ReLU激活函数和批量归一化，将随机噪声向量上采样为三通道图像输出。
• 判别器采用步长大卷积、全局平均池化、Dropout和高斯噪声注入，以提升梯度流动，实现对真实与伪造图像的分类。
• 模型采用最小最大损失目标：生成器被训练以最小化判别器对其输出为“假”的置信度，而判别器则被训练以准确识别真实与伪造图像。
• 训练采用跳跃式Adam优化策略，在15,000次迭代中交替更新生成器和判别器参数，批量大小为200。
• 所有输入模态均归一化至[0,1]，且生成器同时输出三种MRI对比度，确保生成输出的模态一致性。

实验结果

研究问题

• RQ1 基于GAN的模型能否生成在视觉上与真实数据无法区分的逼真、多模态前列腺病灶MRI图像块？
• RQ2 生成器的隐式潜在空间在多大程度上捕捉了前列腺病灶形态的有意义变化？
• RQ3 当仅使用有限的真实数据进行训练时，生成器能否产生连贯且解剖学上合理的多对比度MRI输出？
• RQ4 在医学影像领域，哪些训练技巧和网络架构选择对稳定训练GAN至关重要？
• RQ5 该模型生成的合成MRI数据在多大程度上可支持医学研究中的数据增强或匿名化数据共享？

主要发现

• GAN成功生成了在视觉上逼真的合成MRI图像块，在T2、ADC和Ktrans模态下，其纹理、对比度和结构细节均与真实病灶高度相似。
• 模型生成了连贯的多模态输出：Ktrans图像中的高信号区域始终与ADC图像中的低信号区域配对，反映了真实的生物学关系。
• 潜在空间（Z）中的线性插值可实现不同病灶形态之间的平滑、合理过渡，表明潜在表示结构良好且具有语义意义。
• 在训练过程中，判别器能够以高置信度区分真实与伪造图像，但生成器逐渐学会生成难以被识别为合成样本的图像。
• 尽管仅使用330例训练扫描，模型仍能生成多样且高保真的输出，表明其在有限数据下具有强大的泛化能力。
• 在判别器中使用批量归一化、Leaky ReLU、Dropout和高斯噪声注入显著提升了训练稳定性与生成样本质量。