[论文解读] A Survey on Training Challenges in Generative Adversarial Networks for Biomedical Image Analysis

Muhammad Saad, Ruairi O’Reilly+1 more|arXiv (Cornell University)|Jan 19, 2022

Generative Adversarial Networks and Image Synthesis被引用 6

一句话总结

本综述系统性地回顾了生成对抗网络（GANs）在生物医学图像分析中面临的训练挑战——模式崩溃、非收敛性和不稳定性。它提出了一个解决方案分类法，评估了FID和MS-SSIM等指标，并指出现有评估方法中的空白，主张采用领域特定的、稳健的指标以提升医疗应用中合成图像的质量与多样性。

ABSTRACT

In biomedical image analysis, the applicability of deep learning methods is directly impacted by the quantity of image data available. This is due to deep learning models requiring large image datasets to provide high-level performance. Generative Adversarial Networks (GANs) have been widely utilized to address data limitations through the generation of synthetic biomedical images. GANs consist of two models. The generator, a model that learns how to produce synthetic images based on the feedback it receives. The discriminator, a model that classifies an image as synthetic or real and provides feedback to the generator. Throughout the training process, a GAN can experience several technical challenges that impede the generation of suitable synthetic imagery. First, the mode collapse problem whereby the generator either produces an identical image or produces a uniform image from distinct input features. Second, the non-convergence problem whereby the gradient descent optimizer fails to reach a Nash equilibrium. Thirdly, the vanishing gradient problem whereby unstable training behavior occurs due to the discriminator achieving optimal classification performance resulting in no meaningful feedback being provided to the generator. These problems result in the production of synthetic imagery that is blurry, unrealistic, and less diverse. To date, there has been no survey article outlining the impact of these technical challenges in the context of the biomedical imagery domain. This work presents a review and taxonomy based on solutions to the training problems of GANs in the biomedical imaging domain. This survey highlights important challenges and outlines future research directions about the training of GANs in the domain of biomedical imagery.

研究动机与目标

• 识别并分类阻碍生成对抗网络在生物医学图像生成中性能的核心训练挑战——模式崩溃、非收敛性和不稳定性。
• 为磁共振成像（MRI）、X光、超声等生物医学图像模态量身定制，提供现有技术解决方案的全面分类法。
• 评估当前指标（如FID、MS-SSIM）在评估GAN生成的生物医学图像方面的有效性，并指出其在捕捉结构与纹理保真度方面的局限性。
• 识别评估方法论中的研究空白，并提出未来方向，以开发反映临床相关性与图像质量的稳健、领域特定的评估指标。
• 指导研究人员选择合适的GAN架构与训练策略，以提升合成生物医学图像的逼真度、多样性与分辨率。

提出的方法

• 对100余篇关于生物医学成像中GANs的研究进行系统性回顾，重点关注训练不稳定性、模式崩溃与非收敛性问题。
• 将解决方案分类为架构类（如跳跃连接、自注意力机制）、优化类（如双时间尺度更新规则）以及损失函数类（如Wasserstein损失、相对性铰链损失）三种。
• 将每种解决方案映射至具体训练问题，并利用FID、IS、MMD和PSNR等标准指标评估其对图像质量的影响。
• 分析GAN在多种生物医学成像模态（X光、MRI、PET、超声）中的表现，以评估解决方案的泛化能力。
• 提出一个统一的评估框架，强调基于特征的（MS-SSIM）与基于距离的（FID）指标，用于临床环境中GAN的基准测试。
• 指出传统像素级指标在无参考图像的无监督生物医学场景中应用受限，因缺乏参考图像与隐私限制。

实验结果

研究问题

• RQ1 哪些是损害生成对抗网络在生物医学图像生成中性能的主要训练挑战——模式崩溃、非收敛性和不稳定性？
• RQ2 在生物医学背景下，架构改进（如注意力机制、谱归一化）与损失函数（如Wasserstein损失、相对性铰链损失）在多大程度上缓解了这些挑战？
• RQ3 现有评估指标（FID、MS-SSIM、PSNR）在多大程度上准确反映了GAN生成的生物医学图像的质量、多样性与临床相关性？
• RQ4 为何传统指标在生物医学成像中失效？构建稳健、领域特定的评估指标需要满足哪些要求？
• RQ5 为开发可靠、可泛化且具有临床意义的评估框架，以支持生物医学图像合成中的GAN技术，未来需要哪些研究方向？

主要发现

• 通过小批量判别、自注意力机制和条件判别器向量等技术，生物医学GAN中的模式崩溃问题得到缓解，显著提升了生成图像的多样性。
• 通过采用双时间尺度更新规则与鲸鱼优化算法等改进的训练动态，非收敛问题得以缓解，训练过程更稳定，平衡点搜索行为更优。
• 通过使用Wasserstein损失与残差连接，梯度消失导致的不稳定性问题得以减轻，训练过程更稳定，生成图像质量更高。
• 尽管已有进展，但尚无单一指标能完全捕捉生物医学图像的纹理、形状与结构保真度，FID与MS-SSIM仍是使用最广泛的指标，但在临床相关性方面仍显不足。
• 由于生物医学数据集中缺乏参考图像，像素级指标的应用受到限制，因此亟需优先关注特征级相似性的无监督评估方法。
• 目前仍缺乏能捕捉关键解剖特征与临床质量的统一、模态无关的评估指标，凸显了该领域一个关键的研究空白。