[论文解读] CNNs and GANs in MRI-based cross-modality medical image estimation

Azin Shokraei Fard, David C. Reutens+1 more|arXiv (Cornell University)|Jun 4, 2021

Radiomics and Machine Learning in Medical Imaging参考文献 62被引用 4

一句话总结

本文综述了卷积神经网络（CNNs）和生成对抗网络（GANs）在基于MRI数据的跨模态医学图像估计中的应用，重点在于从MRI扫描生成如PET或CT等图像。GANs在图像质量和真实感方面优于CNNs，这一结论通过定量指标得到验证，凸显了其在生成临床相关合成图像方面的优越性。

ABSTRACT

Cross-modality image estimation involves the generation of images of one medical imaging modality from that of another modality. Convolutional neural networks (CNNs) have been shown to be useful in identifying, characterising and extracting image patterns. Generative adversarial networks (GANs) use CNNs as generators and estimated images are discriminated as true or false based on an additional network. CNNs and GANs within the image estimation framework may be considered more generally as deep learning approaches, since imaging data tends to be large, leading to a larger number of network weights. Almost all research in the CNN/GAN image estimation literature has involved the use of MRI data with the other modality primarily being PET or CT. This review provides an overview of the use of CNNs and GANs for MRI-based cross-modality medical image estimation. We outline the neural networks implemented, and detail network constructs employed for CNN and GAN image-to-image estimators. Motivations behind cross-modality image estimation are provided as well. GANs appear to provide better utility in cross-modality image estimation in comparison with CNNs, a finding drawn based on our analysis involving metrics comparing estimated and actual images. Our final remarks highlight key challenges faced by the cross-modality medical image estimation field, and suggestions for future research are outlined.

研究动机与目标

• 综述并分析基于MRI的跨模态医学图像估计中CNN和GAN的应用。
• 比较CNN和GAN在从一种模态生成另一种模态图像（特别是从MRI生成PET或CT图像）方面的性能。
• 识别CNN和GAN-based图像到图像转换框架中使用的关键网络架构和设计选择。
• 强调临床和研究环境中跨模态图像估计的动机。
• 概述当前基于深度学习的医学图像合成中的挑战，并提出未来研究方向。

提出的方法

• 本研究采用系统性文献综述方法，聚焦于基于MRI的跨模态图像估计中CNN和GAN的应用。
• CNN用作特征提取器和生成器，以学习从输入MRI到目标模态图像的映射关系。
• GAN将生成器（通常基于U-Net或类似架构的CNN）与判别器网络结合，用于区分真实图像与生成图像。
• 生成器通过对抗性训练方式训练，以生成与真实图像难以区分的图像，从而提升感知质量。
• 通过SSIM、PSNR和LPIPS等标准指标评估图像质量，以比较估计图像与实际图像。
• 分析网络架构的设计，包括跳跃连接、归一化层以及对抗性损失和循环一致性损失等损失函数。

实验结果

研究问题

• RQ1 基于CNN的模型在从MRI数据生成跨模态医学图像方面的表现如何？
• RQ2 基于GAN的模型在MRI到PET或MRI到CT图像估计中，能在多大程度上提升图像质量和真实感？
• RQ3 在CNN和GAN框架中，哪些架构组件和训练策略对本任务最为有效？
• RQ4 在定量和感知图像质量方面，CNN与GAN之间的关键性能差异是什么？
• RQ5 当前基于MRI的跨模态图像估计方法中存在哪些主要挑战和局限性？

主要发现

• GAN在多个评估指标下始终优于标准CNN，能够生成高保真度、逼真的图像。
• GAN中的对抗性训练显著提升了生成图像的感知质量与更精细的结构细节。
• SSIM和PSNR等定量指标显示，GAN生成的图像在数值上高于基于CNN的图像。
• 在GAN框架中引入感知损失和循环一致性损失，进一步增强了图像的真实感和结构准确性。
• 尽管有所改进，但在泛化能力、域偏移和生成图像的临床验证方面仍存在挑战。
• 本综述指出，当前研究缺乏标准化的评估协议，且临床转化程度有限。