[论文解读] 3D-StyleGAN: A Style-Based Generative Adversarial Network for Generative Modeling of Three-Dimensional Medical Images

Sung‐Min Hong, Razvan Marinescu+5 more|arXiv (Cornell University)|Jul 20, 2021

Generative Adversarial Networks and Image Synthesis参考文献 36被引用 4

一句话总结

本文提出3D-StyleGAN，作为StyleGAN2在3D医学影像高保真生成建模中的扩展，通过将2D操作适配至3D，降低特征图与潜在向量深度以提升内存效率，并利用风格向量实现可控图像生成。该方法实现了2mm各向同性分辨率脑部MRI的高质量生成，并支持潜在空间投影与风格混合，实现解剖结构控制。

ABSTRACT

Image synthesis via Generative Adversarial Networks (GANs) of three-dimensional (3D) medical images has great potential that can be extended to many medical applications, such as, image enhancement and disease progression modeling. However, current GAN technologies for 3D medical image synthesis need to be significantly improved to be readily adapted to real-world medical problems. In this paper, we extend the state-of-the-art StyleGAN2 model, which natively works with two-dimensional images, to enable 3D image synthesis. In addition to the image synthesis, we investigate the controllability and interpretability of the 3D-StyleGAN via style vectors inherited form the original StyleGAN2 that are highly suitable for medical applications: (i) the latent space projection and reconstruction of unseen real images, and (ii) style mixing. We demonstrate the 3D-StyleGAN's performance and feasibility with ~12,000 three-dimensional full brain MR T1 images, although it can be applied to any 3D volumetric images. Furthermore, we explore different configurations of hyperparameters to investigate potential improvement of the image synthesis with larger networks. The codes and pre-trained networks are available online: https://github.com/sh4174/3DStyleGAN.

研究动机与目标

• 将StyleGAN2扩展至3D医学影像生成，克服2D GAN在体素数据合成中的局限性。
• 利用源自StyleGAN2的风格向量，实现3D脑部MRI的可控且可解释的生成。
• 探究潜在空间投影与风格混合在未见真实3D医学影像中的可行性。
• 在内存受限条件下，通过限制滤波器深度与潜在向量大小，评估模型性能。
• 提供一个公开可用的3D医学影像生成框架，支持超分辨率、运动校正与疾病建模等应用。

提出的方法

• 将StyleGAN2中的所有2D操作、层与噪声输入替换为对应的3D版本，以支持体素合成。
• 降低滤波器特征图深度与潜在向量大小，以在保持图像质量的同时管理GPU内存限制。
• 采用基于风格的生成器，对每个3D卷积模块应用学习得到的仿射变换（Mod与Demod）。
• 实现投影函数，将未见的真实3D图像映射至学习到的潜在空间以实现重建。
• 通过在合成网络的不同分辨率层级上组合来自不同图像的风格向量，实现风格混合。
• 使用3D-ResNet判别器，并采用渐进式分辨率增长策略，在约12,000个T1加权3D脑部MRI扫描上训练模型。

实验结果

研究问题

• RQ1 在内存受限条件下，能否有效将StyleGAN2扩展至3D医学影像生成，同时保持高图像质量？
• RQ2 通过3D-StyleGAN框架对未见的真实3D医学影像进行潜在空间投影，能否实现高保真重建？
• RQ3 在不同分辨率层级上的风格向量在3D MRI生成中，对控制特定解剖结构特征的程度如何？
• RQ4 滤波器深度与潜在向量大小如何影响生成的3D医学图像质量？
• RQ5 风格混合能否以有意义且可解释的方式在3D医学影像间传递解剖变异？

主要发现

• 3D-StyleGAN成功生成了2mm各向同性分辨率的高质量3D脑部MRI，图像具有感知真实的视觉效果且伪影极少。
• 对未见真实3D图像的潜在空间投影实现了高保真重建，证明了模型具备良好的可逆性。
• 风格混合通过低分辨率风格向量实现了对高级解剖特征（如脑室大小与脑部轮廓）的控制。
• 在1mm分辨率下，滤波器特征图深度为16时生成的图像质量显著下降，表明网络深度存在阈值效应。
• 在2mm分辨率下，使用更深的滤波器特征图（如fd96）时模型表现更优，证实了网络架构深度对图像质量的重要性。
• 源代码与预训练模型已公开，支持可复现性，并可广泛应用于3D医学影像生成的下游任务。