[论文解读] Deep Learning with Attention to Predict Gestational Age of the Fetal Brain

Liyue Shen, Katie Shpanskaya+7 more|arXiv (Cornell University)|Dec 9, 2018

Fetal and Pediatric Neurological Disorders参考文献 1被引用 8

一句话总结

该论文提出了一种端到端的基于注意力机制的深度学习框架，利用多视角胎儿脑部MRI（轴向、矢状、冠状）实现高精度的胎龄预测。通过使用弱监督注意力图实现旋转不变的胎儿脑区定位与裁剪，该模型在涵盖125至273天胎龄的多样化队列中实现了R² = 0.94和平均绝对误差（MAE）为6.8天的性能。

ABSTRACT

Fetal brain imaging is a cornerstone of prenatal screening and early diagnosis of congenital anomalies. Knowledge of fetal gestational age is the key to the accurate assessment of brain development. This study develops an attention-based deep learning model to predict gestational age of the fetal brain. The proposed model is an end-to-end framework that combines key insights from multi-view MRI including axial, coronal, and sagittal views. The model also uses age-activated weakly-supervised attention maps to enable rotation-invariant localization of the fetal brain among background noise. We evaluate our methods on the collected fetal brain MRI cohort with a large age distribution from 125 to 273 days. Our extensive experiments show age prediction performance with R2 = 0.94 using multi-view MRI and attention.

研究动机与目标

• 开发一种端到端的深度学习框架，利用多视角MRI实现胎儿脑部胎龄的高精度预测。
• 通过引入弱监督注意力机制，解决胎儿脑部在MRI中位置和方向多变的挑战，实现实现自动定位。
• 通过在统一模型中整合来自多个MRI视角（轴向、矢状、冠状）的特征，提升回归性能。
• 证明注意力机制通过聚焦于相关解剖结构并过滤母体及背景噪声，能够提升模型性能。
• 在涵盖125至273天胎龄的大型多样化胎儿MRI队列上验证该方法。

提出的方法

• 模型使用残差网络（ResNet-18和ResNet-50）作为主干网络，在全局分支中执行年龄回归。
• 注意力机制从最终残差块后的特征图生成热力图，突出显示感兴趣区域。
• 将注意力图进行阈值化处理（ResNet-18为0.3，ResNet-50为0.4），生成二值掩码以实现自动子图像裁剪。
• 计算一个矩形边界框，以最小周长包围最多被阈值化的像素，将裁剪区域重采样为224×224，输入至局部分支。
• 在最终回归预测前，通过拼接或平均的方式融合全局分支和局部分支的特征。
• 模型端到端训练，以最小化预测胎龄与真实胎龄之间的L2损失。

实验结果

研究问题

• RQ1 基于注意力机制的深度学习模型是否能在无真实标注的情况下，有效定位噪声大、方向多变的MRI扫描中的胎儿脑部？
• RQ2 与单视角方法相比，多视角MRI（轴向、矢状、冠状）在胎龄预测中表现如何？
• RQ3 注意力机制在多大程度上通过聚焦于相关解剖特征来提升回归精度？
• RQ4 在自动脑部子区域裁剪的注意力图二值化步骤中，最优阈值是多少？
• RQ5 融合全局与局部分支的特征是否相比单独使用任一分支能带来更优的性能？

主要发现

• 所提出的模型在使用多视角MRI与注意力机制时，实现了R² = 0.94和平均绝对误差（MAE）为6.8天的性能。
• 融合分支（通过拼接全局与局部分支的特征）表现最佳，使用ResNet-50时达到R² = 0.9420和MAE = 6.8444。
• 注意力机制显著提升了模型性能，尤其在基线准确率较低时，使模型能够聚焦于相关脑结构。
• 多视角学习始终优于单视角预测，其中轴向和冠状平面提供了最具信息量的特征。
• 注意力图二值化步骤中的阈值对性能有决定性影响，过高或过低的阈值均会降低模型准确率。
• 可视化结果证实，注意力机制能够自动且稳健地在各种扫描方向和背景中定位胎儿脑部。