[论文解读] Joint Frequency and Image Space Learning for MRI Reconstruction and Analysis

Nalini Singh, Juan Eugenio Iglesias+3 more|arXiv (Cornell University)|Jul 2, 2020

Medical Imaging Techniques and Applications被引用 4

一句话总结

本文提出通过新型神经网络层实现频率域与图像域的联合学习，显式结合傅里叶域与空间域表征以用于磁共振成像（MRI）重建。通过在单一架构中整合两个域，该方法实现了对欠采样、运动和噪声引起的伪影的端到端校正，相较于标准深度学习方法，训练时间减少了90%。

ABSTRACT

We propose neural network layers that explicitly combine frequency and image feature representations and show that they can be used as a versatile building block for reconstruction from frequency space data. Our work is motivated by the challenges arising in MRI acquisition where the signal is a corrupted Fourier transform of the desired image. The proposed joint learning schemes enable both correction of artifacts native to the frequency space and manipulation of image space representations to reconstruct coherent image structures at every layer of the network. This is in contrast to most current deep learning approaches for image reconstruction that treat frequency and image space features separately and often operate exclusively in one of the two spaces. We demonstrate the advantages of joint convolutional learning for a variety of tasks, including motion correction, denoising, reconstruction from undersampled acquisitions, and combined undersampling and motion correction on simulated and real world multicoil MRI data. The joint models produce consistently high quality output images across all tasks and datasets. When integrated into a state of the art unrolled optimization network with physics-inspired data consistency constraints for undersampled reconstruction, the proposed architectures significantly improve the optimization landscape, which yields an order of magnitude reduction of training time. This result suggests that joint representations are particularly well suited for MRI signals in deep learning networks. Our code and pretrained models are publicly available at https://github.com/nalinimsingh/interlacer.

研究动机与目标

• 解决现有深度学习方法在MRI重建中分别处理频率域与图像域的局限性。
• 通过联合建模两个域，克服频率域局部污染对重建图像的全局影响。
• 提升用于欠采样MRI重建的展开优化网络的训练稳定性和收敛性。
• 通过跨域的统一表征学习，实现对运动、噪声和欠采样伪影的直接校正。
• 证明联合表征可产生比传统单域方法更高质量的重建结果并实现更快的训练速度。

提出的方法

• 引入一种新型神经网络层，可在频率域与图像域同时执行卷积操作，保留两个域之间的结构关系。
• 设计该层以保持频率域中的共轭对称性，反映真实MRI图像的特性。
• 将联合层集成到具有物理启发式数据一致性约束的展开优化框架中，用于欠采样MRI重建。
• 通过在频率域与图像域操作间共享参数化，实现伪影校正的端到端学习。
• 在MoDL风格架构中应用联合层，取代标准的图像域卷积，以改善训练动态。
• 使用频率域损失与图像域指标（如SSIM和L2损失）的组合进行网络训练。

实验结果

研究问题

• RQ1 与单域深度学习方法相比，频率域与图像域的联合学习是否能提升MRI重建质量？
• RQ2 联合表征学习如何影响展开优化网络中的训练稳定性和收敛时间？
• RQ3 联合层在多大程度上能同时校正多种MRI伪影（如欠采样、运动和噪声）？
• RQ4 将联合层集成到MoDL架构中是否可消除预训练的需要，若能，训练时间减少了多少？
• RQ5 联合层在纠正由频率域污染引起的全局伪影的同时，能否保持或增强局部图像结构？

主要发现

• 该联合学习架构在多种任务中均实现了稳定且高质量的重建，包括模拟与真实多通道MRI数据的运动校正、去噪和欠采样重建。
• 当集成到MoDL网络中时，联合层将总训练时间从31小时（需预训练）缩短至仅4小时，实现了8.5倍的加速。
• 使用联合层的网络在无需预训练的情况下即达到验证SSIM ≥ 0.98，而仅使用图像域卷积的网络在K=5时无法收敛，除非进行预初始化。
• 与单域网络相比，联合模型生成的重建图像更清晰、更少模糊，尤其在高伪影场景（如极端欠采样和运动）下表现更优。
• 联合层显著改善了优化景观，即使在复杂且病态的设置下，也能实现更快的收敛与稳定的训练。
• 该方法在不同MRI采集挑战下表现出强鲁棒性，包括极端欠采样、运动和噪声，在所有评估条件下均优于现有最先进方法。