[论文解读] Fidelity Imposed Network Edit (FINE) for Solving Ill-Posed Image Reconstruction

Jinwei Zhang, Zhe Liu+6 more|arXiv (Cornell University)|May 17, 2019

Advanced X-ray and CT Imaging参考文献 48被引用 10

一句话总结

本文提出了一种称为Fidelity Imposed Network Edit（FINE）的方法，该方法在推理过程中结合物理数据保真度模型微调预训练的深度学习网络，显著提升了病态神经影像重建中的图像重建质量。FINE通过基于测试数据保真度调整网络权重，在定量磁敏感成像（QSM）和欠采样MRI重建中取得优越结果，减少了模糊并增强了病灶可见性。

ABSTRACT

Deep learning (DL) is increasingly used to solve ill-posed inverse problems in imaging, such as reconstruction from noisy or incomplete data, as DL offers advantages over explicit image feature extractions in defining the needed prior. However, DL typically does not incorporate the precise physics of data generation or data fidelity. Instead, DL networks are trained to output some average response to an input. Consequently, DL image reconstruction contains errors, and may perform poorly when the test data deviates significantly from the training data, such as having new pathological features. To address this lack of data fidelity problem in DL image reconstruction, a novel approach, which we call fidelity-imposed network edit (FINE), is proposed. In FINE, a pre-trained prior network's weights are modified according to the physical model, on a test case. Our experiments demonstrate that FINE can achieve superior performance in two important inverse problems in neuroimaging: quantitative susceptibility mapping (QSM) and under-sampled reconstruction in MRI.

研究动机与目标

• 为解决深度学习在病态图像重建中的局限性，即模型在分布外数据上表现不佳，原因在于缺乏物理数据保真度。
• 克服标准深度学习重建中常见的模糊和误差传播问题，尤其是在具有复杂病理特征的神经影像中。
• 开发一种方法，在保持预训练网络表征能力的同时，与测试数据保持物理一致性。
• 在无需重新训练网络的情况下，实现在定量磁敏感成像（QSM）和欠采样MRI中的高保真度重建。
• 证明基于数据保真度的测试特定网络编辑方法，优于标准推理或从零开始训练。

提出的方法

• FINE在推理过程中基于从物理成像模型推导出的数据保真度项，使用反向传播对预训练深度神经网络（如U-Net）的权重进行修改。
• 该方法将重建问题表述为最小化一个损失函数，该损失函数结合了数据保真度（||W(Ax - y)||²）和先验项，通过梯度下降在测试输入上更新网络权重。
• 通过迭代应用权重更新，逐步优化网络输出，确保重建图像满足物理前向模型和测量数据。
• 该方法聚焦于网络的高层（初始和最终）层，这些层对图像内容和病理特征最为敏感。
• FINE使用与标准深度学习相同的网络架构，但引入了基于测试数据的、数据驱动的权重校正步骤，避免了重新训练。
• 该方法应用于两个神经影像问题：QSM和欠采样k空间MRI，两者均涉及具有已知物理模型的病态逆问题。

实验结果

研究问题

• RQ1 能否在推理过程中有效微调预训练的深度学习网络，以提升病态问题中的图像重建保真度？
• RQ2 在推理过程中强制执行数据保真度，与标准深度学习或从零开始训练相比，对重建质量有何影响？
• RQ3 FINE是否能改善标准深度学习常遗漏的QSM中高磁化率特征（如出血灶）的恢复？
• RQ4 FINE能否在欠采样MRI重建中减少混叠和条纹伪影，同时保持细节清晰？
• RQ5 FINE中的权重更新在多大程度上依赖于特定测试案例？哪些网络层受影响最大？

主要发现

• FINE在定量磁敏感成像（QSM）中显著提升了重建质量，尤其在恢复高磁化率病灶（如出血灶）方面表现优异，而这些病灶通常被标准深度学习方法遗漏。
• 该方法减少了模糊，保留了QSM中的精细细节，视觉结果表明其病灶对比度更优，伪影更少，优于标准深度学习和深度图像先验方法。
• 在欠采样MRI重建中，FINE优于标准深度学习和L1正则化方法，有效抑制了混叠伪影，同时保持了图像锐度。
• FINE中的权重更新在U-Net的高层（初始和最终）层最为显著，表明该方法能自适应地响应患者特定的图像内容和病理特征。
• 深度图像先验（从零开始训练）未能产生令人满意的QSM结果，证明了预训练权重的重要性以及FINE的测试特定编辑机制的有效性。
• 在强磁化率源（如出血灶）处，FINE与真实值之间的残差差异仍是一个挑战，表明仍有进一步改进的空间。