[论文解读] Fetal Pose Estimation in Volumetric MRI using a 3D Convolution Neural Network

Junshen Xu, Molin Zhang+6 more|arXiv (Cornell University)|Jul 10, 2019

Fetal and Pediatric Neurological Disorders参考文献 6被引用 6

一句话总结

该论文提出了一种两阶段的3D卷积神经网络框架，用于在容积MRI中进行胎儿姿势估计，通过热图预测结合马尔可夫随机场（MRF）优化以提高精度。该方法实现了4.47毫米的平均误差和96.4%的准确率（误差<10毫米），单个体积的端到端推理时间低于1秒，实现了临床MRI中胎儿运动的实时追踪。

ABSTRACT

The performance and diagnostic utility of magnetic resonance imaging (MRI) in pregnancy is fundamentally constrained by fetal motion. Motion of the fetus, which is unpredictable and rapid on the scale of conventional imaging times, limits the set of viable acquisition techniques to single-shot imaging with severe compromises in signal-to-noise ratio and diagnostic contrast, and frequently results in unacceptable image quality. Surprisingly little is known about the characteristics of fetal motion during MRI and here we propose and demonstrate methods that exploit a growing repository of MRI observations of the gravid abdomen that are acquired at low spatial resolution but relatively high temporal resolution and over long durations (10-30 minutes). We estimate fetal pose per frame in MRI volumes of the pregnant abdomen via deep learning algorithms that detect key fetal landmarks. Evaluation of the proposed method shows that our framework achieves quantitatively an average error of 4.47 mm and 96.4\% accuracy (with error less than 10 mm). Fetal pose estimation in MRI time series yields novel means of quantifying fetal movements in health and disease, and enables the learning of kinematic models that may enhance prospective mitigation of fetal motion artifacts during MRI acquisition.

研究动机与目标

• 为解决胎儿MRI中胎儿运动伪影这一关键挑战，该挑战限制了图像质量和诊断价值。
• 开发一种自动化的、实时的方法，从低分辨率、高时间分辨率的3D MRI时间序列中估计胎儿姿势。
• 通过利用深度学习进行关键点检测，克服人工标注和传统运动追踪的局限性。
• 通过精确、快速的姿势估计，实现在胎儿MRI中的前瞻性运动校正和运动学建模。
• 展示在稀疏真实值标注条件下，将深度学习应用于容积医学影像中3D姿势估计的可行性。

提出的方法

• 提出一种两阶段框架：首先，使用3D沙漏卷积神经网络从输入MRI容积中生成15个胎儿关键点位置的3D热图。
• 该网络采用编码器-解码器架构，并通过逐元素相加的跳跃连接保留跨尺度的空间和特征信息。
• 在第二阶段，马尔可夫随机场（MRF）模型通过强制执行关节之间的解剖学上合理的空间关系，对关键点预测进行优化。
• MRF通过推理过程解决热图中的模糊性，减少误报并提高定位精度。
• 该方法在70名孕妇的18,000个体积EPI数据集上进行训练，关键点标注通过视觉检查获得。
• 端到端推理每个体积耗时低于1秒，其中CNN部分在GPU上耗时225毫秒，MRF优化部分在CPU上耗时290毫秒。

实验结果

研究问题

• RQ1 深度学习能否有效应用于低分辨率、高时间分辨率MRI时间序列中的3D胎儿姿势估计？
• RQ2 通过马尔可夫随机场引入解剖学约束后，与直接检测热图峰值相比，关键点定位精度如何提升？
• RQ3 基于3D卷积神经网络的姿势估计流水线在胎儿MRI中可达到的精度和计算效率如何？
• RQ4 该框架能否支持临床胎儿MRI采集过程中的实时、低延迟姿势追踪？
• RQ5 在真实值有限的情况下，该方法在不同胎儿姿势和孕周阶段下的泛化能力如何？

主要发现

• 所提方法在所有15个胎儿标志点上，预测关键点与真实值之间的平均误差为4.47毫米。
• 96.4%的预测关键点位于真实位置10毫米以内，表明方法具有高度鲁棒性和准确性。
• 3D沙漏网络在参数效率方面优于3D U-Net，参数量仅为350万（相比2200万），同时保持了相当的性能。
• MRF优化阶段通过增强解剖学上连接关节之间的一致性，减少了由热图峰值检测引起的错误预测，从而降低误差。
• 端到端处理时间每个体积低于1秒，支持MRI采集过程中的实时姿势追踪。
• 尽管仅在单胎妊娠数据上进行训练，该方法仍展示了在胎儿MRI中实现前瞻性运动校正和运动学建模的可行性。