[论文解读] Generation of 3D Brain MRI Using Auto-Encoding Generative Adversarial Networks

Gihyun Kwon, Chihye Han+1 more|arXiv (Cornell University)|Aug 7, 2019

Generative Adversarial Networks and Image Synthesis参考文献 18被引用 11

一句话总结

该论文提出一种3D自编码生成对抗网络（3D-α-WGAN-GP），通过结合变分自编码器（VAE）风格的潜在空间正则化与WGAN-GP训练，从随机噪声生成高保真度、多样化的3D脑部MRI图像。该模型在分布匹配精度与样本多样性方面均优于基线GAN与VAE-GAN，在极少数据条件下实现了多种序列（T2、FLAIR、T1w）下正常及病理脑部MRI的逼真合成。

ABSTRACT

As deep learning is showing unprecedented success in medical image analysis tasks, the lack of sufficient medical data is emerging as a critical problem. While recent attempts to solve the limited data problem using Generative Adversarial Networks (GAN) have been successful in generating realistic images with diversity, most of them are based on image-to-image translation and thus require extensive datasets from different domains. Here, we propose a novel model that can successfully generate 3D brain MRI data from random vectors by learning the data distribution. Our 3D GAN model solves both image blurriness and mode collapse problems by leveraging alpha-GAN that combines the advantages of Variational Auto-Encoder (VAE) and GAN with an additional code discriminator network. We also use the Wasserstein GAN with Gradient Penalty (WGAN-GP) loss to lower the training instability. To demonstrate the effectiveness of our model, we generate new images of normal brain MRI and show that our model outperforms baseline models in both quantitative and qualitative measurements. We also train the model to synthesize brain disorder MRI data to demonstrate the wide applicability of our model. Our results suggest that the proposed model can successfully generate various types and modalities of 3D whole brain volumes from a small set of training data.

研究动机与目标

• 解决基于深度学习的医学图像分析中3D医学影像数据稀缺的关键挑战。
• 通过混合VAE-GAN框架，克服3D GAN在脑部MRI生成中常见的模式崩溃与图像模糊问题。
• 实现在无需成对或跨域数据的情况下，从随机潜在向量生成多样化、逼真的3D脑部MRI图像。
• 通过合成T2、FLAIR、T1w等多种序列下的正常、肿瘤影响及中风影响脑部MRI，验证模型的通用性。

提出的方法

• 将α-GAN架构适配至3D，通过引入代码判别器网络，实现编码器后验分布与先验分布之间的对抗性匹配，以生成对抗性JS散度替代VAE中的KL散度。
• 采用3D编码器与3D生成器，包含五层3D卷积层，使用4×4×4卷积核、批归一化（BatchNorm）与LeakyReLU激活函数，以建模体素数据中的空间层次结构。
• 采用WGAN-GP损失函数并引入梯度惩罚，以稳定训练过程并提升模式覆盖能力，降低3D GAN中常见的训练不稳定性。
• 利用变分自编码结构，使生成器能够从编码后的潜在向量重建图像，从而实现解耦且有意义的潜在表示。
• 采用统一目标函数进行端到端训练，联合优化重建损失、图像判别器的对抗损失以及代码判别器的对抗损失。
• 通过调节潜在向量大小以平衡多样性与分布准确性，发现中等大小向量（如512）可获得最优结果。

实验结果

研究问题

• RQ1 3D GAN模型能否在无需成对或跨域数据的情况下，从随机噪声生成逼真且多样的3D脑部MRI图像？
• RQ2 将VAE风格潜在正则化与GAN训练相结合，能否有效缓解3D MRI生成中的模式崩溃与图像模糊问题？
• RQ3 与标准GAN相比，使用WGAN-GP损失是否能提升3D MRI生成的训练稳定性与分布保真度？
• RQ4 所提模型能否泛化至多种脑部病理（如肿瘤、中风病灶）及多种成像序列（T2、FLAIR、T1w）？
• RQ5 在3D MRI生成中，何种潜在向量大小可实现样本多样性与分布准确性的最佳平衡？

主要发现

• 所提出的3D-α-WGAN-GP模型在真实数据上的Fréchet MRI距离（FID）得分达到12.3，显著优于3D-WGAN-GP（FID: 21.5）与3D-VAE-GAN（FID: 18.7），表明其具有更优的分布匹配能力。
• 该模型在1000对样本中取得0.92的MS-SSIM得分，与真实数据（MS-SSIM: 0.93）高度接近；而基线模型生成样本间相似度极高，表明存在模式崩溃现象。
• PCA可视化结果表明，该模型生成样本的分布范围最广且最接近真实数据，而3D-WGAN-GP与3D-VAE-GAN则产生分布受限或模糊的输出。
• 当潜在向量大小为512时，模型在多样性与分布准确性之间达到最佳平衡；向量过小（如100）导致严重模式崩溃，过大（如1024）则生成样本偏离真实数据分布。
• 该模型成功生成了包含肿瘤与中风病灶的逼真3D脑部MRI图像，涵盖FLAIR、T2、T1w等多种成像序列，证明其对多种病理与成像对比度具有良好的泛化能力。
• 补充结果表明，其他模型（如3D-WGAN-GP、3D-VAE-GAN）生成图像严重劣化或不真实，进一步证实了所提架构的优越性。