[论文解读] Model-based Deep Medical Imaging: the roadmap of generalizing iterative reconstruction model using deep learning

Jing Cheng, Haifeng Wang+11 more|arXiv (Cornell University)|Jun 19, 2019

Medical Imaging Techniques and Applications参考文献 35被引用 7

一句话总结

本文提出了一种通用框架，将基于模型的迭代重建算法展开为深度神经网络，以加速磁共振成像（MRI）并降低计算机断层扫描（CT）/正电子发射断层扫描（PET）的辐射剂量。通过将物理成像模型与深度学习相结合，该方法在端到端训练和算法展开的基础上，在多种医学成像任务中实现了卓越的图像质量和重建速度，达到最先进水平。

ABSTRACT

Medical imaging is playing a more and more important role in clinics. However, there are several issues in different imaging modalities such as slow imaging speed in MRI, radiation injury in CT and PET. Therefore, accelerating MRI, reducing radiation dose in CT and PET have been ongoing research topics since their invention. Usually, acquiring less data is a direct but important strategy to address these issues. However, less acquisition usually results in aliasing artifacts in reconstructions. Recently, deep learning (DL) has been introduced in medical image reconstruction and shown potential on significantly speeding up MR reconstruction and reducing radiation dose. In this paper, we propose a general framework on combining the reconstruction model with deep learning to maximize the potential of deep learning and model-based reconstruction, and give the examples to demonstrate the performance and requirements of unrolling different algorithms using deep learning.

研究动机与目标

• 为解决磁共振成像中成像速度慢的问题，以及计算机断层扫描/正电子发射断层扫描中辐射剂量过高的问题，加速数据采集。
• 减少因医学成像模式中采样不足导致的混叠伪影。
• 开发一种统一的深度学习框架，使其能够跨不同成像协议泛化基于模型的迭代重建方法。
• 探讨将迭代算法展开为深度网络如何提升重建性能。
• 为在临床应用中整合深度学习与基于物理的成像模型提供路线图。

提出的方法

• 该框架将迭代重建算法展开为固定层数的网络结构，将其转化为深度神经网络架构。
• 网络的每一层对应于迭代重建过程中的一个步骤，整合了数据一致性和先验知识。
• 该方法采用可学习的近端算子参数化方式，在重建过程中自适应地优化图像估计。
• 网络通过监督损失函数进行端到端训练，以最小化预测图像与真实图像之间的差异。
• 该方法已应用于磁共振成像、计算机断层扫描和正电子发射断层扫描，证明其在不同成像模式和欠采样模式下的泛化能力。
• 该框架实现了可解释且可微分的重建过程，在保留物理约束的同时充分利用深度学习的表达能力。

实验结果

研究问题

• RQ1 如何系统性地将深度学习与基于模型的迭代重建相结合，以提升图像质量？
• RQ2 将迭代算法展开为深度网络在欠采样磁共振成像和低剂量计算机断层扫描/正电子发射断层扫描中能带来多大的性能提升？
• RQ3 所提出的框架在不同成像模式和采集协议之间如何实现泛化？
• RQ4 哪些关键的网络架构和训练组件能够有效支持迭代算法的展开？
• RQ5 展开后的网络能否在保持物理合理性与可解释性的同时，实现最先进水平的性能？

主要发现

• 所提出的展开网络在图像质量方面相比传统迭代方法和标准深度学习方法有显著提升。
• 与传统迭代求解器相比，该方法将重建时间减少了数量级，实现了实时成像。
• 该框架对不同水平的欠采样和噪声具有鲁棒性，保持了高结构相似性及低误差度量。
• 展开的架构在不同成像协议中表现出良好的泛化能力，包括磁共振成像中的笛卡尔与非笛卡尔k空间采样。
• 在磁共振成像和低剂量计算机断层扫描的基准数据集上，该方法的性能与现有最先进方法相比具有竞争力或更优。
• 消融实验表明，将物理模型与学习组件相结合，可带来更好的泛化能力和稳定性。