[论文解读] FakeNews: GAN-based generation of realistic 3D volumetric data -- A systematic review and taxonomy

A.J.M. Ferreira, Jianning Li+4 more|arXiv (Cornell University)|Jul 4, 2022

Generative Adversarial Networks and Image Synthesis被引用 10

一句话总结

本篇系统性综述对基于生成对抗网络（GAN）的3D体素数据生成方法进行了全面分析，重点聚焦于网络架构、损失函数、评估指标以及在医学与非医学领域的应用。该研究提出了一种新颖的分类体系，识别出关键挑战，并指明了未来的研究机遇。主要成果包括在MRI、CT和显微镜等多模态数据中生成高保真度的合成数据，其在冷冻电镜模拟中达到10.8Å的分辨率，且在血管和毛发生成方面实现了与真实数据难以区分的逼真度。

ABSTRACT

With the massive proliferation of data-driven algorithms, such as deep learning-based approaches, the availability of high-quality data is of great interest. Volumetric data is very important in medicine, as it ranges from disease diagnoses to therapy monitoring. When the dataset is sufficient, models can be trained to help doctors with these tasks. Unfortunately, there are scenarios where large amounts of data is unavailable. For example, rare diseases and privacy issues can lead to restricted data availability. In non-medical fields, the high cost of obtaining enough high-quality data can also be a concern. A solution to these problems can be the generation of realistic synthetic data using Generative Adversarial Networks (GANs). The existence of these mechanisms is a good asset, especially in healthcare, as the data must be of good quality, realistic, and without privacy issues. Therefore, most of the publications on volumetric GANs are within the medical domain. In this review, we provide a summary of works that generate realistic volumetric synthetic data using GANs. We therefore outline GAN-based methods in these areas with common architectures, loss functions and evaluation metrics, including their advantages and disadvantages. We present a novel taxonomy, evaluations, challenges, and research opportunities to provide a holistic overview of the current state of volumetric GANs.

研究动机与目标

• 为基于生成对抗网络（GAN）的3D体素数据生成方法在医学与非医学领域提供全面的概览。
• 识别并分析体素GAN中常用的网络架构、损失函数与评估指标。
• 基于模态、应用类型与数据表示方式，提出一种新型分类体系以对体素GAN应用进行分类。
• 突出医学影像中数据稀缺、隐私问题以及高昂数据采集成本等关键挑战。
• 概述在合成体素数据生成领域中开放的研究机遇与未来发展方向。

提出的方法

• 对102篇关于基于GAN的3D体素数据生成的文献进行系统性文献综述，通过结构化搜索与筛选流程进行选取。
• 根据应用类型对方法进行分类：重建（2D→3D，低分辨率→高分辨率）、分割、分类以及通用数据生成。
• 分析25种不同的GAN架构，包括条件GAN（cGAN）、Wasserstein GAN（WGAN）、风格迁移GAN（PGGAN）、CycleGAN以及基于3D-UNet的模型，重点聚焦于3D卷积与生成对抗训练机制。
• 评估18种损失函数，包括对抗损失、感知损失、循环一致性损失与重建损失，以及14种评估指标，如结构相似性（SSIM）、峰值信噪比（PSNR）与Fréchet起始距离（FID）。
• 将研究发现整合为一种新型分类体系，按模态、应用类型与数据类型（如MRI、CT、显微镜、合成数据）对方法进行组织。
• 纳入医学领域（如脑部、肺部、心脏、细胞核）与非医学领域（如多孔介质、计算机辅助设计（CAD）、地震成像）的案例研究，以展示方法的多样性。

实验结果

研究问题

• RQ1 在3D体素数据生成中，主流的GAN架构有哪些？它们在医学与非医学应用中的差异是什么？
• RQ2 哪些损失函数与评估指标在确保生成3D体素数据的真实感与保真度方面最为有效？
• RQ3 当前基于GAN的方法如何应对医学影像中数据稀缺、隐私问题与高昂采集成本等挑战？
• RQ4 使用GAN生成高质量合成3D体素数据时，其关键局限性与开放挑战是什么？
• RQ5 在3D体素GAN领域，特别是在泛化能力与临床部署方面，存在哪些推动技术前沿的研究机遇？

主要发现

• 本综述识别出102项相关研究，其中68%集中于医学应用，尤其在MRI、CT与显微镜领域；其余32%应用于非医学领域，如计算机辅助设计（CAD）、地震成像与多孔介质。
• 条件GAN（cGAN）、WGAN与CycleGAN为基础的架构最为普遍，基于3D-UNet与3D-DCGAN的变体在重建与分割任务中表现优异。
• CryoGAN在合成冷冻电镜（cryo-EM）数据上实现了10.8Å的分辨率，展现出在生物大分子结构生成方面的高度真实感。
• SpCycleGAN与基于cGAN的模型显著提升了肾脏与神经元显微图像中不规则形状细胞核的分割准确率。
• 通过GAN生成的合成血管与真实血管难以区分，表明其在血管结构生成方面具备高度逼真度。
• 本研究揭示了标准化评估协议的显著缺失，尽管FID、SSIM与PSNR是最常用的指标，但其在不同研究间缺乏一致性。