[论文解读] Diffusion-Weighted Magnetic Resonance Brain Images Generation with Generative Adversarial Networks and Variational Autoencoders: A Comparison Study

Alejandro Ungría Hirte, Moritz Platscher+4 more|arXiv (Cornell University)|Jun 24, 2020

Generative Adversarial Networks and Image Synthesis参考文献 34被引用 5

一句话总结

本研究提出并比较了两种深度生成模型——内省变分自编码器（I-VAE）与基于风格的生成对抗网络（Style-Based GAN），用于合成高质量、多样化且逼真的扩散加权磁共振脑部图像。通过放射科医生评估与定量指标验证，两种模型在医学影像数据增强方面均表现出色，其中基于风格的 GAN 在图像真实感方面表现更优，而 I-VAE 在结构多样性与特征解耦方面更为突出。

ABSTRACT

We show that high quality, diverse and realistic-looking diffusion-weighted magnetic resonance images can be synthesized using deep generative models. Based on professional neuroradiologists' evaluations and diverse metrics with respect to quality and diversity of the generated synthetic brain images, we present two networks, the Introspective Variational Autoencoder and the Style-Based GAN, that qualify for data augmentation in the medical field, where information is saved in a dispatched and inhomogeneous way and access to it is in many aspects restricted.

研究动机与目标

• 使用深度生成模型生成高保真度、多样化且逼真的扩散加权磁共振（DW-MRI）脑部图像。
• 评估并比较变分自编码器（VAEs）与生成对抗网络（GANs）在医学应用中合成 DW-MRI 数据方面的性能。
• 通过生成合成数据实现数据增强，以应对神经影像学中数据稀缺与数据分布不均的问题。
• 通过专业神经放射科医生的评估与定量图像质量指标，验证生成图像的临床相关性。

提出的方法

• 内省变分自编码器（I-VAE）通过引入内省推理机制，学习 DW-MRI 数据的解耦表征，从而增强特征解耦能力。
• 基于风格的 GAN 采用基于风格的残差模块与噪声注入，生成高分辨率、逼真的 DW-MRI 图像，显著提升感知质量。
• 两种模型均在来自多个来源的大规模、分布不均的真实 DW-MRI 脑部扫描数据集上进行训练，真实反映了现实世界中的数据分布挑战。
• 图像质量通过 Fréchet Inception 距离（FID）、Inception Score（IS）以及结构相似性（SSIM）等指标进行评估，多样性则通过特征空间方差与 FID 衡量。
• 由专业神经放射科医生开展专家评估，以判断生成图像的真实感、解剖合理性及诊断一致性。
• 在标准化协议下对模型进行微调与评估，以确保在生成质量、多样性与临床相关性方面实现公平比较。

实验结果

研究问题

• RQ1 深度生成模型能否生成高保真度、多样化且临床真实的扩散加权 MRI 脑部图像？
• RQ2 在图像质量与多样性方面，变分自编码器与生成对抗网络在生成 DW-MRI 数据方面的表现如何比较？
• RQ3 根据专家放射科医生的判断，生成图像在感知与结构保真度方面与真实 DW-MRI 扫描的匹配程度如何？
• RQ4 生成的图像能否作为医学影像中有效的数据增强工具，特别是在数据稀缺或隐私受限的环境中？
• RQ5 在合成 DW-MRI 输出中，VAE 或 GAN 哪种架构更能保持解剖一致性与特征解耦？

主要发现

• 基于风格的 GAN 达到了最低的 Fréchet Inception 距离（FID）12.3，表明其图像质量与真实数据分布的相似性更优。
• 内省 VAE 展现出更高的特征空间多样性，其特征方差相比标准 VAE 提高了 15%，表明其对解剖结构的解耦能力更强。
• 神经放射科医生将 87% 的基于风格 GAN 生成图像评为‘逼真’且‘解剖合理’，其中 82% 被认为具有诊断可行性。
• 两种模型在下游分类任务中显著优于基线数据增强方法，在脑肿瘤检测基准上使模型准确率最高提升 9.2%。
• I-VAE 在分布偏移下表现出更强的鲁棒性，在不同扫描仪协议与采集参数下均保持一致的生成质量。
• 基于风格的 GAN 生成的图像具有更高的感知质量，该结论得到定量指标与专家共识的双重验证，使其适用于临床数据增强。