[论文解读] Contrastive Learning for Local and Global Learning MRI Reconstruction

Qiaosi Yi, Jinhao Liu+3 more|arXiv (Cornell University)|Nov 30, 2021

Advanced MRI Techniques and Applications参考文献 47被引用 5

一句话总结

该论文提出CLGNet，一种新颖的MRI重建网络，通过空间域与傅里叶域联合学习的时空层（SFL）整合局部与全局图像结构信息，同时利用对比学习约束解空间，使重建结果更贴近完全采样图像，远离欠采样输入。该方法在多个数据集和加速率下均达到最先进性能。

ABSTRACT

Magnetic Resonance Imaging (MRI) is an important medical imaging modality, while it requires a long acquisition time. To reduce the acquisition time, various methods have been proposed. However, these methods failed to reconstruct images with a clear structure for two main reasons. Firstly, similar patches widely exist in MR images, while most previous deep learning-based methods ignore this property and only adopt CNN to learn local information. Secondly, the existing methods only use clear images to constrain the upper bound of the solution space, while the lower bound is not constrained, so that a better parameter of the network cannot be obtained. To address these problems, we propose a Contrastive Learning for Local and Global Learning MRI Reconstruction Network (CLGNet). Specifically, according to the Fourier theory, each value in the Fourier domain is calculated from all the values in Spatial domain. Therefore, we propose a Spatial and Fourier Layer (SFL) to simultaneously learn the local and global information in Spatial and Fourier domains. Moreover, compared with self-attention and transformer, the SFL has a stronger learning ability and can achieve better performance in less time. Based on the SFL, we design a Spatial and Fourier Residual block as the main component of our model. Meanwhile, to constrain the lower bound and upper bound of the solution space, we introduce contrastive learning, which can pull the result closer to the clear image and push the result further away from the undersampled image. Extensive experimental results on different datasets and acceleration rates demonstrate that the proposed CLGNet achieves new state-of-the-art results.

研究动机与目标

• 为解决现有深度学习方法在重建具有清晰结构细节的MRI图像时，因对全局上下文和相似块建模不足而带来的局限性。
• 通过同时约束解空间的上下界，克服MRI重建问题的病态性。
• 开发一种计算成本更低的自注意力机制与Transformer的高效替代方案，用于全局特征学习。
• 通过在空间域与小波域联合学习，提升图像重建质量。

提出的方法

• 提出一种时空层（SFL），将标准卷积与快速傅里叶卷积相结合，实现空间域局部特征与傅里叶域全局依赖关系的联合学习。
• 设计时空残差块（SFRB）及其残差变体（SFRIR），作为CLGNet的核心构建模块，支持跨域的有效特征学习。
• 引入一种对比学习损失，使网络输出更接近完全采样（清晰）图像，同时远离欠采样输入，从而同时约束解空间的上下界。
• 采用双分支架构，包含空间分支与小波分支，通过小波域的稀疏性增强结构细节恢复能力。
• 在SFL中使用快速傅里叶变换（FFT）与逆快速傅里叶变换（IFFT），在不增加自注意力或Transformer高计算成本的前提下，实现全局感受野。
• 通过保持参数量与浮点运算量（FLOPs）较低，确保模型效率，仅比标准卷积网络略有增加。

实验结果

研究问题

• RQ1 在空间域与傅里叶域联合学习是否能通过捕捉局部与全局图像结构，提升MRI重建质量？
• RQ2 所提出的SFL层是否在计算成本更低的前提下，优于自注意力与Transformer模型，实现更优的全局上下文建模？
• RQ3 对比学习在同时约束解空间上下界方面，对重建质量的提升程度如何？
• RQ4 小波分支在提升MRI重建中结构细节恢复能力方面的有效性如何？
• RQ5 所提出的CLGNet是否能在多样化的数据集与不同加速率下实现SOTA性能？

主要发现

• CLGNet在多个数据集（包括CC-359 Brain）上达到新的SOTA性能，在不同加速率下PSNR与SSIM均有显著提升。
• 消融实验表明，移除小波分支会导致性能明显下降，证实其在结构细节恢复中的关键作用。
• 将SFL替换为自注意力或Transformer层后，性能下降且运行时间显著增加，证明SFL在效率与有效性上的优越性。
• 与基线相比，引入对比学习损失可使PSNR提升4 dB，证明其在解空间约束中的有效性。
• 在对比学习中移除负样本会导致性能下降，证实约束下界对寻找更优解至关重要。
• 与标准卷积相比，SFL模块仅略微增加运行时间与FLOPs，表明其具有良好的计算效率。