[论文解读] Feeding the zombies: Synthesizing brain volumes using a 3D progressive growing GAN

Anders Eklund|arXiv (Cornell University)|Dec 11, 2019

Generative Adversarial Networks and Image Synthesis参考文献 24被引用 5

一句话总结

本文提出一种3D渐进式生成对抗网络（3D PGAN），从有限数据集合成高保真度的T1加权MR脑部体积。通过使用数据增强和3D卷积，从4×4×4逐步训练至64×64×64体素分辨率，该模型生成了逼真的脑部体积，可用于医学人工智能的训练数据增强，展示了在极少模式崩溃的情况下实现3D医学图像合成的可行性。

ABSTRACT

Deep learning requires large datasets for training (convolutional) networks with millions of parameters. In neuroimaging, there are few open datasets with more than 100 subjects, which makes it difficult to, for example, train a classifier to discriminate controls from diseased persons. Generative adversarial networks (GANs) can be used to synthesize data, but virtually all research is focused on 2D images. In medical imaging, and especially in neuroimaging, most datasets are 3D or 4D. Here we therefore present preliminary results showing that a 3D progressive growing GAN can be used to synthesize MR brain volumes.

研究动机与目标

• 为解决大规模开放神经影像数据集稀缺的问题，通过生成合成脑部体积。
• 将2D渐进式生成对抗网络框架适配至3D医学影像，以提升训练稳定性和图像质量。
• 评估3D PGAN是否能从有限的真实数据中生成高分辨率、逼真的T1加权MR脑部体积。
• 通过生成合成体积实现实现数据增强和隐私保护的数据共享。
• 为未来医学图像合成研究提供可复现的3D GAN框架。

提出的方法

• 该方法采用从4×4×4逐步训练至64×64×64体素分辨率的3D渐进式生成对抗网络，从低分辨率体积开始，逐步增加复杂度。
• 将原始2D PGAN实现中的所有2D卷积替换为3D卷积，并扩展TensorFlow操作以处理3D张量。
• 通过为每位受试者生成10个随机3D旋转实现数据增强，将训练集从900个体积增加至9,000个体积，旋转角度从正态分布中采样（均值0°，标准差10°）。
• 模型使用噪声向量作为生成器的输入，生成合成体积，而判别器通过对抗训练区分真实与生成体积。
• 使用nibabel Python包实现NIfTI文件的I/O操作，以处理神经影像数据格式。
• 超参数（包括学习率和小批量大小）根据分辨率层级进行调整，滤波器数量较原始2D PGAN有所减少（最大128）。

实验结果

研究问题

• RQ1 3D渐进式生成对抗网络能否有效合成高分辨率的逼真T1加权MR脑部体积？
• RQ2 从低分辨率到高分辨率的渐进式训练是否能提升3D医学生成对抗网络的训练稳定性和图像质量？
• RQ3 通过3D旋转进行数据增强在多大程度上能改善3D生成对抗网络在神经影像学中的泛化能力并减少模式崩溃？
• RQ4 3D PGAN生成的合成脑部体积能否有效用于增强真实数据集，以支持下游医学人工智能任务？
• RQ5 3D PGAN在合成全脑MR体积方面，与现有2D或小型3D生成对抗网络相比性能如何？

主要发现

• 3D PGAN成功在64×64×64体素分辨率下生成了逼真的T1加权MR脑部体积，证明了在医学影像中应用3D渐进式训练的可行性。
• 在32×32×32和64×64×64分辨率下生成的合成体积显示出连贯的解剖结构，包括脑沟和脑回模式，表明其具有合理的脑部形态。
• 在配备四块V100 GPU的Nvidia DGX工作站上，完整64×64×64分辨率模型的训练时间约为81小时。
• 模型实现了稳定的训练，模式崩溃极少，表现为在多个随机种子下生成的输出多样且解剖学上合理。
• 通过为每位受试者应用10个随机3D旋转（共9,000个体积）的数据增强策略，有效提升了训练稳定性和生成样本的多样性。
• 3D PGAN框架已发布于GitHub，支持可复现性，并为未来扩展至更高分辨率或其它解剖结构提供了可能。