[论文解读] Complementary Time-Frequency Domain Networks for Dynamic Parallel MR Image Reconstruction

Chen Qin, Jinming Duan+8 more|arXiv (Cornell University)|Dec 22, 2020

Advanced MRI Techniques and Applications参考文献 43被引用 6

一句话总结

该论文提出 CTFNet，一种深度学习框架，通过利用互补的时间-频率（x-f）域和时空图像（x-t）域中的时空冗余性，联合重建高度欠采样的动态并行磁共振成像（MRI）。通过将一种基于变量分裂的迭代算法嵌入循环神经网络（RNN）中，CTFNet 实现了最先进的图像质量和重建速度，使单次屏气 2D 心脏电影 MRI 在 16× 和 24× 加速下实现仅 2.8 秒的重建时间。

ABSTRACT

Purpose: To introduce a novel deep learning based approach for fast and high-quality dynamic multi-coil MR reconstruction by learning a complementary time-frequency domain network that exploits spatio-temporal correlations simultaneously from complementary domains. Theory and Methods: Dynamic parallel MR image reconstruction is formulated as a multi-variable minimisation problem, where the data is regularised in combined temporal Fourier and spatial (x-f) domain as well as in spatio-temporal image (x-t) domain. An iterative algorithm based on variable splitting technique is derived, which alternates among signal de-aliasing steps in x-f and x-t spaces, a closed-form point-wise data consistency step and a weighted coupling step. The iterative model is embedded into a deep recurrent neural network which learns to recover the image via exploiting spatio-temporal redundancies in complementary domains. Results: Experiments were performed on two datasets of highly undersampled multi-coil short-axis cardiac cine MRI scans. Results demonstrate that our proposed method outperforms the current state-of-the-art approaches both quantitatively and qualitatively. The proposed model can also generalise well to data acquired from a different scanner and data with pathologies that were not seen in the training set. Conclusion: The work shows the benefit of reconstructing dynamic parallel MRI in complementary time-frequency domains with deep neural networks. The method can effectively and robustly reconstruct high-quality images from highly undersampled dynamic multi-coil data ($16 imes$ and $24 imes$ yielding 15s and 10s scan times respectively) with fast reconstruction speed (2.8s). This could potentially facilitate achieving fast single-breath-hold clinical 2D cardiac cine imaging.

研究动机与目标

• 解决在高度欠采样的 k 空间数据下实现快速且高质量动态并行 MRI 重建的挑战。
• 克服传统压缩感知方法的局限性，包括收敛速度慢和对超参数调优敏感的问题。
• 通过结合互补域的信息——空间-时间频率（x-f）域和时空图像（x-t）域——更有效地利用时空冗余性。
• 开发一种在未见扫描协议和病理数据上具有良好泛化能力的深度学习模型。
• 通过实现高加速率和快速重建，使临床可行的单次屏气 2D 心脏电影 MRI 成为可能。

提出的方法

• 该方法将动态 MRI 重建建模为一个多变量最小化问题，分别在 x-f（时空傅里叶）域和 x-t（时空图像）域中施加正则化。
• 推导出一种基于变量分裂和交替最小化的迭代算法，交替执行 x-f 和 x-t 空间中的去伪影步骤、闭式数据一致性步骤以及加权耦合步骤。
• 将迭代优化过程嵌入到深度循环神经网络（RNN）中，实现重建过程的端到端学习。
• 网络通过在时间维度上同时处理频率域和图像域的数据，学习利用互补的时空相关性。
• 加权耦合机制确保两个域之间的一致性更新，从而提升重建保真度。
• 该框架在高度欠采样的多 coil 心脏电影 MRI 数据上进行端到端训练，重建速度针对临床应用进行了优化。

实验结果

研究问题

• RQ1 在互补的时间-频率域和时空域中进行联合学习，是否能提升高度加速动态 MRI 的重建质量？
• RQ2 与最先进的压缩感知和深度学习方法相比，所提出的 CTFNet 模型在图像质量和重建速度方面表现如何？
• RQ3 该模型在未见扫描设备和训练集中未出现的病理情况下的泛化能力有多强？
• RQ4 该方法能否实现在 16× 和 24× 加速下临床可行的单次屏气 2D 心脏电影 MRI？
• RQ5 在真实临床场景中，该模型对运动和数据不一致性具有多强的鲁棒性？

主要发现

• 在定量指标（如 PSNR、SSIM）和定性视觉评估方面，CTFNet 均优于最先进的压缩感知和深度学习方法。
• 该方法在 16× 和 24× 加速下实现了高质量重建，对应扫描时间分别为 15 秒和 10 秒，实现了单次屏气心脏电影成像。
• 重建时间仅为 2.8 秒，显著快于传统迭代方法。
• 该模型在不同扫描仪设备和训练中未见的病理病例上表现出良好的泛化能力。
• 在重建图像上进行左心室功能评估，与参考标准相比偏差和方差可接受，表明其具备临床可行性。
• 在基于分割的评估中，该模型对运动和数据不一致性表现出鲁棒性，误差累积极少。