[论文解读] BabyNet: Residual Transformer Module for Birth Weight Prediction on Fetal Ultrasound Video

Szymon Płotka, Michal K. Grzeszczyk+5 more|arXiv (Cornell University)|May 19, 2022

Neonatal and fetal brain pathology参考文献 19被引用 17

一句话总结

BabyNet 是一种端到端深度学习框架，采用一种新型的残差Transformer模块（RTM），可直接从2D + t胎儿超声视频扫描中预测胎儿出生体重，无需依赖标准切面检测。其性能优于最先进方法，预测精度与专家临床医生相当，当结合人工与模型预测时表现最佳（mMAPE：5.2%）。

ABSTRACT

Predicting fetal weight at birth is an important aspect of perinatal care, particularly in the context of antenatal management, which includes the planned timing and the mode of delivery. Accurate prediction of weight using prenatal ultrasound is challenging as it requires images of specific fetal body parts during advanced pregnancy which is difficult to capture due to poor quality of images caused by the lack of amniotic fluid. As a consequence, predictions which rely on standard methods often suffer from significant errors. In this paper we propose the Residual Transformer Module which extends a 3D ResNet-based network for analysis of 2D+t spatio-temporal ultrasound video scans. Our end-to-end method, called BabyNet, automatically predicts fetal birth weight based on fetal ultrasound video scans. We evaluate BabyNet using a dedicated clinical set comprising 225 2D fetal ultrasound videos of pregnancies from 75 patients performed one day prior to delivery. Experimental results show that BabyNet outperforms several state-of-the-art methods and estimates the weight at birth with accuracy comparable to human experts. Furthermore, combining estimates provided by human experts with those computed by BabyNet yields the best results, outperforming either of other methods by a significant margin. The source code of BabyNet is available at https://github.com/SanoScience/BabyNet.

研究动机与目标

• 开发一种端到端深度学习方法，直接从2D + t超声视频扫描中预测胎儿出生体重。
• 解决传统方法依赖人工识别标准胎儿切面和经验公式所带来的局限性。
• 通过整合3D多头自注意力机制与残差连接及时间位置编码，提升预测精度。
• 在临床数据集上评估模型，该数据集为分娩前一天采集，确保实际应用相关性。
• 探索结合人工专家估计与AI预测以实现更优性能的潜力。

提出的方法

• BabyNet 基于3D ResNet-18主干网络构建，将最后两个残差模块替换为一种新型残差Transformer模块（RTM）。
• RTM 将3D多头自注意力机制（MHSA）与3D卷积层及批量归一化相结合，实现局部与全局特征的联合学习。
• 在MHSA机制中引入时间位置编码（TPE），以保留视频输入中的时空顺序。
• 网络处理16帧的视频片段，应用全局平均池化，为每位患者输出单一出生体重预测结果。
• 模型使用包含75名患者共225段视频的专用临床数据集进行端到端训练，扫描时间点为分娩前一天。
• 性能通过5折交叉验证进行评估，使用指标包括：平均绝对误差（mMAE）、均方根误差（mRMSE）和平均绝对百分比误差（mMAPE）。”

实验结果

研究问题

• RQ1 混合CNN-Transformer架构能否在无需标准切面检测的情况下，有效直接从2D + t超声视频扫描中预测胎儿出生体重？
• RQ2 将带时间位置编码的残差Transformer模块整合后，是否能相比标准3D CNN或纯Transformer模型提升预测精度？
• RQ3 BabyNet的性能与使用标准临床工具的专家临床医生相比如何？
• RQ4 结合人工专家预测与BabyNet输出，是否能显著优于单一方法？
• RQ5 该模型在小规模、临床采集的分娩前短期数据集上是否具备良好的泛化能力？

主要发现

• 在测试集上，BabyNet 的平均绝对误差（mMAE）为 254 ± 230 g，均方根误差（mRMSE）为 341 ± 215 g，平均绝对百分比误差（mMAPE）为 7.5 ± 6.6%。
• 结合临床医生估计与BabyNet预测的结果表现最佳，mMAE为 180 ± 156 g，mRMSE为 237 ± 145 g，mMAPE为 5.2 ± 4.6%。
• BabyNet的性能与先前研究中报道的专家临床医生无统计学差异（p值 = 0.6），尽管在另一次独立比较中表现优于专家（p值 = 0.07）。
• 消融实验证实，加入RTM和时间位置编码显著提升了基线3D ResNet-18的性能。
• 混合RTM设计（结合3D卷积、MHSA与TPE）的性能优于纯CNN、纯Transformer或CNN+Transformer混合模型。
• 结果表明，从原始视频片段端到端学习可达到专家水平的精度，提示其作为临床决策支持工具具有强大实用价值。