[论文解读] Joint Frequency- and Image-Space Learning for Fourier Imaging.

Nalini Singh, Juan Eugenio Iglesias+3 more|arXiv (Cornell University)|Jul 2, 2020

Advanced MRI Techniques and Applications参考文献 46被引用 7

一句话总结

该论文提出了一种新型神经网络层，通过联合学习频域和图像域表示，以提升磁共振成像（MRI）中的傅里叶图像重建质量。通过在k空间中整合伪影校正与在图像空间中进行结构优化，该方法在并行采集、运动校正和去噪任务中均实现了更优且一致的图像质量，优于仅基于频域或图像域的深度学习方法。

ABSTRACT

We propose a neural network layer structure that combines frequency and image feature representations for robust Fourier image reconstruction. Our work is motivated by the challenges in magnetic resonance imaging (MRI) where the acquired signal is a corrupted Fourier transform of the desired image. The proposed layer structure enables both correction of artifacts native to the frequency-space and manipulation of image-space representations to reconstruct coherent image structures. This is in contrast to the current deep learning approaches for image reconstruction that manipulate data solely in the frequency-space or solely in the image-space. We demonstrate the advantages of the proposed joint learning on three diverse tasks including image reconstruction from undersampled acquisitions, motion correction, and image denoising in brain MRI. Unlike purely image based and purely frequency based architectures, the proposed joint model produces consistently high quality output images. The resulting joint frequency- and image-space feature representations promise to significantly improve modeling and reconstruction of images acquired in the frequency-space. Our code is available at this https URL.

研究动机与目标

• 解决当前仅在频域或图像域中运行的深度学习方法在磁共振成像重建中的局限性。
• 通过联合建模频域和图像域中的特征，提升图像重建质量。
• 校正频域数据中固有的伪影，同时保持图像结构的连贯性。
• 开发一种统一的神经网络层，实现在两个域之间的端到端学习。

提出的方法

• 提出一种新型神经网络层，用于处理并融合来自频域（k空间）和图像域表示的特征。
• 采用双分支架构，以并行方式提取并优化k空间和图像域中的特征。
• 应用可学习变换，以校正k空间中的伪影，同时增强图像域中的结构一致性。
• 使用共享表示头，将两个分支的特征进行整合，实现联合优化。
• 采用针对图像重建质量设计的监督损失函数，对模型进行端到端训练。
• 利用联合表示提升在多种磁共振成像重建任务中的鲁棒性。

实验结果

研究问题

• RQ1 在频域和图像域中联合学习是否能超越单一领域方法，进一步提升磁共振成像重建质量？
• RQ2 与纯频域或图像域模型相比，该方法在并行采集磁共振成像重建中的表现如何？
• RQ3 该联合模型在脑部MRI中对运动伪影和噪声的校正能力达到何种程度？
• RQ4 k空间与图像域特征的融合是否能带来更一致且连贯的图像输出？
• RQ5 所提出的层是否能在无需架构重新设计的情况下，泛化至多种磁共振成像重建任务？

主要发现

• 在所有评估任务中，所提出的联合模型始终生成比纯频域或图像域深度学习模型更高质量的图像重建结果。
• 该方法在从并行采集的k空间数据中进行图像重建时表现更优，显著减少了伪影并保留了精细结构。
• 由于联合建模了k空间中的不一致性与图像域中的连贯性，运动校正性能得到显著提升。
• 去噪结果表明，该方法在保持脑部MRI解剖细节的同时，实现了更优的噪声抑制效果。
• 联合特征表示可带来在多样化临床场景下更鲁棒、更稳定的重建结果。