[论文解读] Temporal Interpolation via Motion Field Prediction

Lin Zhang, Neerav Karani+2 more|arXiv (Cornell University)|Apr 12, 2018

Advanced MRI Techniques and Applications参考文献 28被引用 10

一句话总结

该论文提出了一种基于运动场预测的卷积神经网络（MFIN），用于4D MRI重建中的时序插值，相较于直接的强度空间插值，显著提升了图像保真度。通过学习运动场来建模图像变化，MFIN在保留解剖结构方面优于基线方法，将重建时间减少一半，并在结构一致性方面表现优异，SSIM均值达14.06%，参考运动误差均值为0.37mm。

ABSTRACT

Navigated 2D multi-slice dynamic Magnetic Resonance (MR) imaging enables high contrast 4D MR imaging during free breathing and provides in-vivo observations for treatment planning and guidance. Navigator slices are vital for retrospective stacking of 2D data slices in this method. However, they also prolong the acquisition sessions. Temporal interpolation of navigator slices an be used to reduce the number of navigator acquisitions without degrading specificity in stacking. In this work, we propose a convolutional neural network (CNN) based method for temporal interpolation via motion field prediction. The proposed formulation incorporates the prior knowledge that a motion field underlies changes in the image intensities over time. Previous approaches that interpolate directly in the intensity space are prone to produce blurry images or even remove structures in the images. Our method avoids such problems and faithfully preserves the information in the image. Further, an important advantage of our formulation is that it provides an unsupervised estimation of bi-directional motion fields. We show that these motion fields can be used to halve the number of registrations required during 4D reconstruction, thus substantially reducing the reconstruction time.

研究动机与目标

• 在不降低重建精度的前提下，减少自由呼吸4D MRI中的导航采集时间。
• 解决直接强度空间插值的局限性，后者常导致图像模糊或结构丢失。
• 利用运动场先验提升插值保真度，并实现无监督运动估计。
• 通过将所需图像配准次数减半，降低4D重建的计算成本。

提出的方法

• 训练基于CNN的运动场插值网络（MFIN），以预测连续导航切片之间的运动场。
• 网络以多张导航图像作为输入，预测双向运动场以插值缺失帧。
• 通过使用预测的运动场对邻近图像进行形变，生成插值图像，从而保留图像结构。
• 该方法通过仅使用导航图像进行端到端训练，无需真实运动场监督，实现无监督运动估计。
• 利用运动场将4D重建中所需配准次数减少一半。
• 评估了L2和SSIM两种损失函数，其中基于SSIM的训练在结构保留方面表现更优。

实验结果

研究问题

• RQ1 与直接强度空间插值相比，运动场预测是否能提升4D MRI中时序插值的保真度？
• RQ2 引入运动场先验是否能减少结构模糊化，并在插值图像中更好地保留解剖细节？
• RQ3 预测的运动场是否可用于减少4D重建中所需的图像配准次数？
• RQ4 在结构相似性和运动精度方面，MFIN相较于基线CNN（SCIN）的表现如何？
• RQ5 通过MFIN实现的无监督运动场估计是否能生成可靠且一致的运动场，以支持下游重建？

主要发现

• MFINc-SSIM的平均SSIM为79.87%，尽管RMSE更高，但仍优于SCIN-SSIM（82.72%），表明其具有更好的结构保真度。
• MFINc-SSIM的RMSE为10.28（均值），高于SCIN-SSIM（9.05），但此差异反映的是噪声传播，而非结构退化。
• 在高运动情况下，MFINc-SSIM生成的图像更清晰，肝脏和肺部结构保留更佳，而SCIN则产生模糊结果。
• MFINc的运动场误差（RefMotErrFl）为0.82 mm（均值），表明运动估计准确，且运动边界比金标准配准更清晰。
• 该方法将4D重建中所需配准次数减少50%，显著降低了计算成本。
• 在定性比较中，MFINc在高运动情况（如图4中的病例2）下优于SCIN，后者遗漏了关键解剖结构。