[论文解读] Generative Adversarial Networks (GAN) Powered Fast Magnetic Resonance Imaging -- Mini Review, Comparison and Perspectives

Guang Yang, Jun Lv+3 more|arXiv (Cornell University)|May 4, 2021

Advanced MRI Techniques and Applications参考文献 87被引用 5

一句话总结

本文综述并对比了基于生成对抗网络（GAN）的快速磁共振成像（MRI）方法，表明尽管 GAN 在中等加速因子下显著提升了重建质量与感知保真度，优于传统压缩感知和深度学习方法，但某些架构如 DAGAN 和 KIGAN 在高 undersampling 比例下仍存在局限性。RefineGAN 因其更高的准确性和感知质量脱颖而出，成为表现最佳的模型，未来工作将聚焦于整合 MR 物理模型与可解释人工智能（XAI），以推动临床部署。

ABSTRACT

Magnetic Resonance Imaging (MRI) is a vital component of medical imaging. When compared to other image modalities, it has advantages such as the absence of radiation, superior soft tissue contrast, and complementary multiple sequence information. However, one drawback of MRI is its comparatively slow scanning and reconstruction compared to other image modalities, limiting its usage in some clinical applications when imaging time is critical. Traditional compressive sensing based MRI (CS-MRI) reconstruction can speed up MRI acquisition, but suffers from a long iterative process and noise-induced artefacts. Recently, Deep Neural Networks (DNNs) have been used in sparse MRI reconstruction models to recreate relatively high-quality images from heavily undersampled k-space data, allowing for much faster MRI scanning. However, there are still some hurdles to tackle. For example, directly training DNNs based on L1/L2 distance to the target fully sampled images could result in blurry reconstruction because L1/L2 loss can only enforce overall image or patch similarity and does not take into account local information such as anatomical sharpness. It is also hard to preserve fine image details while maintaining a natural appearance. More recently, Generative Adversarial Networks (GAN) based methods are proposed to solve fast MRI with enhanced image perceptual quality. The encoder obtains a latent space for the undersampling image, and the image is reconstructed by the decoder using the GAN loss. In this chapter, we review the GAN powered fast MRI methods with a comparative study on various anatomical datasets to demonstrate the generalisability and robustness of this kind of fast MRI while providing future perspectives.

研究动机与目标

• 评估并比较基于 GAN 的深度学习模型在加速 MRI 重建中的表现，同时保持图像质量和解剖细节。
• 研究基于 GAN 的方法在临床 MRI 中常见不同解剖结构和 undersampling 模式下的鲁棒性与泛化能力。
• 识别基于 GAN 的模型在高加速度因子或训练数据中未包含的病理结构时可能出现的重建不稳定性与幻觉问题。
• 评估基于 GAN 的方法是否能泛化至零样本推理场景，包括未见过的病理或不同成像协议。
• 提出未来研究方向，包括与 MR 物理模型的整合、可解释人工智能（XAI）以及改进训练策略以提升临床可靠性。

提出的方法

• 采用生成对抗网络（GAN），其中生成器网络从高度 undersampled 的 k-space 数据重建高质量 MR 图像，判别器网络则用于区分真实图像与生成图像，以提升感知质量。
• 采用编码器-解码器架构并引入对抗损失，以增强局部图像细节与纹理，克服标准自编码器中因 L1/L2 损失导致的模糊问题。
• 在不同解剖数据集（脑部、腹部）上应用多种采样模式（如可变密度、泊松分布、随机采样），以模拟真实临床中的 undersampling 场景。
• 对比四种基于 GAN 的架构：DAGAN、KIGAN、RefineGAN 和 GANCS，结合定量指标（PSNR、SSIM、LPIPS）与定性视觉评估。
• 引入先进的训练技术，如感知损失与对抗训练，以提升结构保真度并减少伪影。
• 通过零样本推理测试评估模型泛化能力——将仅在某一器官或病理类型上训练的模型应用于未见过的器官或此前未见的病理数据。

实验结果

研究问题

• RQ1 不同基于 GAN 的架构在多种解剖区域与 undersampling 模式下重建快速 MRI 的表现如何比较？
• RQ2 基于 GAN 的方法在高加速度因子（如 8x 或以上）下，能否有效维持图像质量与解剖准确性？
• RQ3 基于 GAN 的模型是否能泛化至包含训练数据中未见病理的零样本推理场景？
• RQ4 基于 GAN 的 MRI 重建的主要局限性是什么，例如在扰动下是否不稳定，或是否会出现对细微结构的幻觉？
• RQ5 如何通过与 MR 物理模型的整合以及可解释人工智能（XAI）提升基于 GAN 的快速 MRI 模型的临床可靠性与透明度？

主要发现

• 所有基于 GAN 的方法在低至中等加速度因子下均取得良好结果，显著优于传统压缩感知与非 GAN 深度学习基线模型，在感知质量与结构细节方面表现更优。
• RefineGAN 在重建准确性和感知效率方面优于 DAGAN、KIGAN 和 GANCS，尤其在保留细微解剖结构与纹理方面表现突出。
• 在高加速度因子（如超过 8x）下，DAGAN 和 KIGAN 表现下降，表明其在极端 undersampling 条件下的泛化能力与鲁棒性存在局限。
• 零样本推理测试表明，如 DAGAN 和 GANCS 等基于 GAN 的模型能够成功重建训练数据中未包含的病理特征（如脑肿瘤、增大的肾上腺），表明其具备强大的泛化潜力。
• 稳定性测试显示，基于 GAN 的模型（尤其是 DAGAN）对输入中的微小扰动（如添加字母）较为敏感，导致较大的重建误差，表明其在真实世界噪声或伪影下可能存在不稳定性。
• 尽管存在稳定性担忧，基于 GAN 的模型在临床零样本推理场景中未表现出对病理结构的幻觉，挑战了早期关于其不稳定的发现，提示其可能存在情境依赖的鲁棒性。