[论文解读] Motion Pyramid Networks for Accurate and Efficient Cardiac Motion Estimation

Hanchao Yu, Xiaohong Chen+4 more|arXiv (Cornell University)|Jun 28, 2020

Advanced MRI Techniques and Applications参考文献 28被引用 5

一句话总结

该论文提出运动金字塔网络（MPN），一种用于磁共振成像中精确且高效的心脏运动估计的深度学习框架。通过融合多尺度运动场，并采用具有渐进式运动补偿的循环教师-学生知识蒸馏策略，MPN在每帧26毫秒的推理时间内实现了最先进性能，显著优于基线模型和可变形配准方法，在公开数据集上表现突出。

ABSTRACT

Cardiac motion estimation plays a key role in MRI cardiac feature tracking and function assessment such as myocardium strain. In this paper, we propose Motion Pyramid Networks, a novel deep learning-based approach for accurate and efficient cardiac motion estimation. We predict and fuse a pyramid of motion fields from multiple scales of feature representations to generate a more refined motion field. We then use a novel cyclic teacher-student training strategy to make the inference end-to-end and further improve the tracking performance. Our teacher model provides more accurate motion estimation as supervision through progressive motion compensations. Our student model learns from the teacher model to estimate motion in a single step while maintaining accuracy. The teacher-student knowledge distillation is performed in a cyclic way for a further performance boost. Our proposed method outperforms a strong baseline model on two public available clinical datasets significantly, evaluated by a variety of metrics and the inference time. New evaluation metrics are also proposed to represent errors in a clinically meaningful manner.

研究动机与目标

• 为解决电影序列MRI中精确且高效的心脏运动估计挑战，特别是用于心肌应变等临床功能评估。
• 克服基于无监督深度学习的运动估计中平滑性约束和解不唯一的问题。
• 通过知识蒸馏实现单步运动估计，提升推理效率而不损失准确性。
• 开发具有临床意义的评估指标，将误差分解为径向和周向方向，以更好地匹配心肌应变评估需求。

提出的方法

• 该方法使用共享编码器生成的多尺度特征金字塔，生成不同分辨率的运动场，随后进行融合以生成优化的运动场。
• 在教师模型中应用渐进式运动补偿策略，通过迭代优化运动估计，以处理大位移并减少对平滑性约束的依赖。
• 引入循环教师-学生蒸馏框架，学生模型通过模仿教师的多步优化过程，实现单步预测准确运动。
• 学生模型通过教师输出作为监督进行训练，实现端到端训练，同时保持高精度并实现更快推理。
• 提出一种新型运动金字塔架构，在特征融合前于各尺度独立预测运动，区别于自回归金字塔方法。
• 该框架具有良好的泛化能力，并应用于ApparentFlow模型，证明其在不同网络架构下的有效性。

实验结果

研究问题

• RQ1 多尺度运动场融合是否能提升电影序列MRI中心脏运动估计的准确性和鲁棒性？
• RQ2 如何利用知识蒸馏在保持迭代运动补偿性能的同时加速推理？
• RQ3 具有渐进式优化的循环训练策略是否能超越标准蒸馏方法，进一步提升运动估计精度？
• RQ4 在2D心脏追踪中，径向与周向运动误差有何差异？误差分解能否提升临床相关性？
• RQ5 所提出方法在不同深度学习架构中用于心脏运动估计时，其泛化能力如何？

主要发现

• MPN在两个公开数据集上均优于强单尺度基线模型和传统可变形配准方法，实现了更低的终点误差和更高的Dice分数。
• 循环知识蒸馏策略（MPN-C）表现最佳，在ACDC数据集的MYO结构上达到0.841的Dice分数，超越基线ApparentFlow模型。
• 所提方法将推理时间降低至每帧26毫秒，相比基于FFD的配准方法（748毫秒）实现了显著的效率提升。
• 误差分解结果显示，径向追踪比周向追踪更准确，凸显了在2D中追踪环形心肌轮廓的困难性。
• 该方法在其他模型上也表现出良好泛化能力，如在ApparentFlow模型中应用循环蒸馏与渐进补偿后性能得到提升。
• 新评估指标——误差分解与关键点追踪误差——提供了超越标准指标的、具有临床意义的运动估计精度洞察。