[论文解读] Co-VeGAN: Complex-Valued Generative Adversarial Network for Compressive Sensing MR Image Reconstruction

Bhavya Vasudeva, Puneesh Deora+2 more|arXiv (Cornell University)|Feb 24, 2020

Sparse and Compressive Sensing Techniques参考文献 55被引用 7

一句话总结

本文提出 Co-VeGAN，一种处理原始复数值磁共振成像（MRI）数据的复值生成对抗网络，通过复值运算和一种新型相位敏感激活函数，直接保留幅度和相位信息。该方法在压缩感知 MRI 中实现了最先进水平的重建质量，参数量显著减少，且在多个数据集和采样模式下均表现出更优的峰值信噪比（PSNR）和结构相似性（mSSIM）得分。

ABSTRACT

Compressive sensing (CS) is widely used to reduce the acquisition time of magnetic resonance imaging (MRI). Although state-of-the-art deep learning based methods have been able to obtain fast, high-quality reconstruction of CS-MR images, their main drawback is that they treat complex-valued MRI data as real-valued entities. Most methods either extract the magnitude from the complex-valued entities or concatenate them as two real-valued channels. In both the cases, the phase content, which links the real and imaginary parts of the complex-valued entities, is discarded. In order to address the fundamental problem of real-valued deep networks, i.e. their inability to process complex-valued data, we propose a novel framework based on a complex-valued generative adversarial network (Co-VeGAN). Our model can process complex-valued input, which enables it to perform high-quality reconstruction of the CS-MR images. Further, considering that phase is a crucial component of complex-valued entities, we propose a novel complex-valued activation function, which is sensitive to the phase of the input. Extensive evaluation of the proposed approach on different datasets using various sampling masks demonstrates that the proposed model significantly outperforms the existing CS-MRI reconstruction techniques in terms of peak signal-to-noise ratio as well as structural similarity index. Further, it uses significantly fewer trainable parameters to do so, as compared to the real-valued deep learning based methods.

研究动机与目标

• 解决现有深度学习方法在压缩感知 MRI 重建中的根本局限性，即通过丢弃相位信息将复数值 MRI 数据视为实数值处理。
• 开发一种能够端到端处理复数值数据的深度学习框架，保留实部与虚部之间的相互依赖性。
• 通过引入可学习的、对相位变化敏感的复值激活函数，提升重建质量。
• 通过最小化可训练参数数量，在保持高性能的同时降低模型复杂度。
• 在多种解剖结构和采样模式下验证泛化能力，包括对未见数据的零样本推理。

提出的方法

• 所提出的 Co-VeGAN 框架在生成器和判别器中全程采用复值运算，实现对复数值 k 空间数据的直接处理，无需仅取幅度或拼接实部与虚部通道。
• 提出一种新型复值激活函数 PC-SS（相位一致 Sigmoid），对输入相位保持敏感，增强网络对 MRI 中相位相关特征的建模能力。
• 模型采用基于 U-Net 的生成器，结合跳跃连接，以及基于局部感受野的判别器，用于对抗训练，促进高频细节恢复。
• 损失函数包括 L1 损失、多尺度结构相似性（mSSIM）和基于小波的损失（Lwvt），以强制保证数据一致性和结构保真度。
• 训练过程中通过采样算子的伴随算子引入数据一致性损失，确保重建图像与采集的 k 空间测量值对齐。
• 采用对抗损失、感知损失和重建损失的组合，实现端到端训练，以最小化幻觉现象并提升图像真实感。

实验结果

研究问题

• RQ1 复值生成对抗网络框架是否能通过保留相位信息，在压缩感知 MRI 重建中超越实值深度学习方法？
• RQ2 与标准实值激活函数相比，相位敏感的复值激活函数在多大程度上提升了重建质量？
• RQ3 Co-VeGAN 在不同解剖结构和采样模式下的泛化能力如何，包括零样本推理？
• RQ4 Co-VeGAN 是否在参数量少于现有 SOTA 方法的前提下，仍能实现更优的重建质量？
• RQ5 小波基损失与结构相似性损失的结合，如何影响重建 MR 图像中细微解剖结构的保留？

主要发现

• 在 MICCAI 2013 数据集上，Co-VeGAN 在 30% 采样率下实现了 45.678 dB 的 PSNR 和 0.9927 的 mSSIM，显著优于现有方法。
• 在 fastMRI 数据集上，模型在 30% 采样率下实现了 34.593 dB 的 PSNR 和 0.7893 的 mSSIM，展现出在临床级数据上的强大性能。
• 模型在零样本推理中表现良好，在未微调的情况下，对 MICCAI 2013 挑战中的犬类腿部图像实现了 42.949 dB 的 PSNR 和 0.9864 的 mSSIM。
• Co-VeGAN 所用可训练参数数量显著少于实值 SOTA 方法，降低了存储和计算需求。
• 视觉结果表明，重建图像与真实图像在放大区域几乎无差异，证实了对细微细节的保留和极低的幻觉现象。
• 一位放射科专家确认，重建图像在诊断上与真实图像无法区分，未发现伪影或虚构结构的迹象。