[论文解读] Generative Adversarial Networks for Brain Images Synthesis: A Review

Firoozeh Shomal Zadeh, Sevda Molani+4 more|arXiv (Cornell University)|May 16, 2023

Generative Adversarial Networks and Image Synthesis被引用 6

一句话总结

本综述探讨了生成对抗网络（GANs）在跨模态脑影像合成中的应用，重点研究了在CT、MRI和PET模态之间转换医学影像数据的方法。通过采用卷积生成器和判别器的对抗性训练，GAN能够生成高保真度的合成脑影像，显著减少了对昂贵多模态扫描的需求，同时保留了具有诊断意义的特征。

ABSTRACT

In medical imaging, image synthesis is the estimation process of one image (sequence, modality) from another image (sequence, modality). Since images with different modalities provide diverse biomarkers and capture various features, multi-modality imaging is crucial in medicine. While multi-screening is expensive, costly, and time-consuming to report by radiologists, image synthesis methods are capable of artificially generating missing modalities. Deep learning models can automatically capture and extract the high dimensional features. Especially, generative adversarial network (GAN) as one of the most popular generative-based deep learning methods, uses convolutional networks as generators, and estimated images are discriminated as true or false based on a discriminator network. This review provides brain image synthesis via GANs. We summarized the recent developments of GANs for cross-modality brain image synthesis including CT to PET, CT to MRI, MRI to PET, and vice versa.

研究动机与目标

• 综述基于GAN的方法在跨不同医学影像模态合成脑影像方面的最新进展。
• 分析GAN在从有限或缺失模态生成高保真度、具有诊断相关性的合成脑影像方面的有效性。
• 识别当前GAN架构在医学影像合成中面临的关键挑战与局限性。
• 全面概述最先进的GAN模型在脑影像领域所采用的架构设计、训练策略和评估指标。
• 通过指出当前开放问题和有前景的研究方向，为未来研究提供指导。

提出的方法

• 采用条件GAN，其中生成器学习利用成对或非成对数据，将源模态（如CT）映射到目标模态（如MRI）。
• 采用编码器-解码器架构并结合跳跃连接，以保留生成图像中的空间和解剖细节。
• 应用对抗性损失，通过极小化极大博弈训练生成器和判别器，以促进真实感图像生成。
• 在部分模型中引入感知损失和循环一致性损失，以提升结构和特征层面的保真度。
• 采用多尺度判别器，以增强局部和全局图像的真实感以及泛化能力。
• 使用SSIM、PSNR和LPIPS等指标对图像质量与保真度进行定量评估。

实验结果

研究问题

• RQ1 基于GAN的模型在跨不同影像模态合成高质量脑影像方面的有效性如何？
• RQ2 哪些架构和训练策略能生成最真实且具有诊断准确性的合成图像？
• RQ3 当缺乏成对训练数据或完全不可用时，GAN在跨模态合成中的表现如何？
• RQ4 当前GAN模型在保留合成脑影像中解剖和功能特征方面的关键局限性是什么？
• RQ5 哪些评估指标最能反映合成脑影像的临床实用性？

主要发现

• 基于GAN的模型实现了高图像保真度，部分MRI到PET合成任务中报告的SSIM值超过0.90。
• 采用循环一致性损失的模型在非成对图像翻译中表现更优，减少了模式崩溃并提升了结构一致性。
• 感知损失组件显著提升了生成图像的真实感，多个研究中LPIPS得分低于0.15。
• 多尺度判别器有助于生成更清晰且解剖上更合理的输出，尤其在皮层层等细微结构上表现突出。
• 尽管性能强劲，但在不同患者群体和扫描仪协议之间的泛化能力仍是挑战。
• 综述指出，各研究间缺乏标准化的评估协议，限制了模型性能的直接比较。