[论文解读] Physics-Driven Deep Learning for Computational Magnetic Resonance Imaging

Kerstin Hammernik, Thomas Küstner+5 more|arXiv (Cornell University)|Mar 23, 2022

Advanced MRI Techniques and Applications被引用 4

一句话总结

本文全面综述了用于计算磁共振成像（MRI）的物理驱动深度学习方法，通过将MRI信号形成的物理模型整合到神经网络中，以提升图像重建性能。通过将物理知识嵌入损失函数、展开网络、即插即用框架以及生成模型，该方法在加速成像和多对比度MRI的线性和非线性逆问题中均实现了最先进的重建精度。

ABSTRACT

Physics-driven deep learning methods have emerged as a powerful tool for computational magnetic resonance imaging (MRI) problems, pushing reconstruction performance to new limits. This article provides an overview of the recent developments in incorporating physics information into learning-based MRI reconstruction. We consider inverse problems with both linear and non-linear forward models for computational MRI, and review the classical approaches for solving these. We then focus on physics-driven deep learning approaches, covering physics-driven loss functions, plug-and-play methods, generative models, and unrolled networks. We highlight domain-specific challenges such as real- and complex-valued building blocks of neural networks, and translational applications in MRI with linear and non-linear forward models. Finally, we discuss common issues and open challenges, and draw connections to the importance of physics-driven learning when combined with other downstream tasks in the medical imaging pipeline.

研究动机与目标

• 为解决纯数据驱动深度学习在MRI中的局限性，通过整合MRI信号形成的物理知识。
• 通过将物理知识嵌入学习框架，提升加速成像和非笛卡尔MRI中的图像重建性能。
• 通过共享表征实现图像重建与下游任务（如分割和运动校正）的联合优化。
• 识别在复杂、实值和多线圈MRI系统中应用物理驱动学习的关键挑战。
• 弥合基于物理的建模与深度学习之间的差距，以促进MRI中的临床转化。

提出的方法

• 通过显式信号模型 M(ρ(r),ϑ,t,r) 将基于物理的前向模型（如布洛赫方程）整合到深度学习中，以编码T1、T2、频移、运动和扩散效应。
• 使用物理驱动的损失函数，通过前向算子 E（定义为 y = E x + n）强制预测图像与k空间测量值之间的一致性。
• 采用展开优化网络，将迭代重建步骤（如数据一致性与去噪）建模为深度网络中的层。
• 通过将去噪步骤替换为预训练网络，同时在数据一致性层中保持物理约束，应用即插即用方法。
• 利用生成模型和自编码器从数据中学习先验，同时在潜在空间中尊重物理约束。
• 集成领域特定组件，如复值神经网络和时空建模，以处理实值MRI数据和动态采集。

实验结果

研究问题

• RQ1 如何有效将基于物理的信号模型嵌入深度学习架构以提升MRI重建性能？
• RQ2 在加速成像和非笛卡尔MRI中，物理驱动深度学习相较于纯数据驱动方法的性能提升如何？
• RQ3 如何将物理驱动学习扩展至图像重建与下游任务（如分割或运动校正）的联合优化？
• RQ4 在复杂、实值和多线圈MRI系统中应用物理驱动学习的关键挑战是什么？
• RQ5 物理驱动模型能否提升医学影像流程中的泛化能力和临床转化性？

主要发现

• 物理驱动深度学习方法在重建欠采样和加速MRI数据方面显著优于纯数据驱动方法，通过强制实现物理一致性。
• 采用基于物理的数据一致性层的展开网络在非笛卡尔和多线圈采集中实现了最先进的重建质量。
• 通过共享编码器联合训练重建与分割网络，相比顺序训练，分割精度得到提升，该结果在UK Biobank和MRBrainS数据集上得到验证。
• 在弱监督或半监督学习设置下，将领域知识（如解剖形状先验或运动场）融入损失函数可增强模型鲁棒性。
• 即插即用框架在数据一致性层中保持物理约束，实现了预训练去噪器的灵活集成，同时维持图像质量。
• 将物理知识整合到深度学习中可实现更好的泛化性，并有望实现从k空间数据直接端到端优化下游任务（如分割）。