[论文解读] Implicit Neural Networks with Fourier-Feature Inputs for Free-breathing Cardiac MRI Reconstruction

Johannes F. Kunz, Stefan Ruschke+1 more|arXiv (Cornell University)|May 11, 2023

Advanced MRI Techniques and Applications被引用 22

一句话总结

本文提出 FMLP，一种在没有训练的隐式神经网络，使用傅里叶特征输入从欠采样数据重建二维自由呼吸心脏MRI，在图像质量上达到或优于最先进的无训练CNN基方法，但计算成本更高。

ABSTRACT

Cardiac magnetic resonance imaging (MRI) requires reconstructing a real-time video of a beating heart from continuous highly under-sampled measurements. This task is challenging since the object to be reconstructed (the heart) is continuously changing during signal acquisition. In this paper, we propose a reconstruction approach based on representing the beating heart with an implicit neural network and fitting the network so that the representation of the heart is consistent with the measurements. The network in the form of a multi-layer perceptron with Fourier-feature inputs acts as an effective signal prior and enables adjusting the regularization strength in both the spatial and temporal dimensions of the signal. We study the proposed approach for 2D free-breathing cardiac real-time MRI in different operating regimes, i.e., for different image resolutions, slice thicknesses, and acquisition lengths. Our method achieves reconstruction quality on par with or slightly better than state-of-the-art untrained convolutional neural networks and superior image quality compared to a recent method that fits an implicit representation directly to Fourier-domain measurements. However, this comes at a relatively high computational cost. Our approach does not require any additional patient data or biosensors including electrocardiography, making it potentially applicable in a wide range of clinical scenarios.

研究动机与目标

• 在没有训练数据的情况下推动实时心脏MRI重建。
• 开发一个具有傅里叶特征输入的隐式网络，作为跳动心脏成像的时空先验。
• 证明在不同分辨率和层厚下，对欠采样测量实现数据一致性拟合。
• 将重建质量与计算成本与未训练的基于CNN的方法以及傅里叶域方法进行比较。

提出的方法

• 将跳动的心脏表示为带有独立空间和时间傅里叶特征嵌入的隐式MLP。
• 通过最小化与逐帧测量的k-space数据相关的数据一致性损失来拟合网络。
• 使用复值输出（实部和虚部）来建模图像强度。
• 使用Adam在随机采样的帧上进行训练；从已训练的网络中查询x_hat，用于视频输出。
• 与基线方法比较：神经隐式k-space (NIK)、k-space中的傅里叶特征MLP (KFMLP)，以及时变DIP (t-DIP)。
• 对坐标尺度进行超参数调优，涉及空间特征的尺度（sx, sy）、时间特征的尺度（st）以及随机高斯嵌入。

实验结果

研究问题

• RQ1 一个未训练的隐式网络，具有傅里叶特征输入，是否可以从高度欠采样的数据提供高质量的二维实时心脏MRI重建？
• RQ2 FMLP在不同分辨率和采集长度下，与NIK、KFMLP、t-DIP在图像质量和计算成本方面的对比如何？
• RQ3 分离的空间和时间傅里叶特征嵌入是否在清晰度和细节方面优于联合嵌入？
• RQ4 增加采集时间对隐式表示的重建质量有何影响？

主要发现

• FMLP在各数据集的图像质量与t-DIP相当或略优，并在SER指标上显著优于NIK和KFMLP。
• FMLP和t-DIP在更长的采集时间下SER提升， whereas NIK和KFMLP 的提升有限。
• 在三种工作制（低/高分辨率、不同SNR）下，FMLP和t-DIP提供相当的质量；KFMLP 性能欠佳。
• 与基线相比，FMLP可产出更锐利、对心脏细节（如乳头肌）更真实的重建，伪影/噪声较少。
• FMLP因为需要对整个坐标网格进行评估，计算成本更高；NIK/KFMLP训练得更快，因为它们仅对测量的坐标进行采样。