[论文解读] Automatic quality assessment for 2D fetal sonographic standard plane based on multi-task learning

Hong Luo, Han Liu+2 more|arXiv (Cornell University)|Dec 11, 2019

Fetal and Pediatric Neurological Disorders参考文献 21被引用 8

一句话总结

该论文提出了一种使用三个卷积神经网络——特征提取网络、区域建议网络和类别预测网络——的多任务学习框架，以自动评估2D胎儿超声标准切面的质量。该方法在每幅图像不到一秒的时间内实现了接近专家水平的准确性，能够自动检测关键解剖结构，显著减少对熟练超声医师的依赖，并在资源有限的环境中实现可扩展、客观的质量控制。

ABSTRACT

The quality control of fetal sonographic (FS) images is essential for the correct biometric measurements and fetal anomaly diagnosis. However, quality control requires professional sonographers to perform and is often labor-intensive. To solve this problem, we propose an automatic image quality assessment scheme based on multi-task learning to assist in FS image quality control. An essential criterion for FS image quality control is that all the essential anatomical structures in the section should appear full and remarkable with a clear boundary. Therefore, our scheme aims to identify those essential anatomical structures to judge whether an FS image is the standard image, which is achieved by three convolutional neural networks. The Feature Extraction Network aims to extract deep level features of FS images. Based on the extracted features, the Class Prediction Network determines whether the structure meets the standard and Region Proposal Network identifies its position. The scheme has been applied to three types of fetal sections, which are the head, abdominal, and heart. The experimental results show that our method can make a quality assessment of an FS image within less a second. Also, our method achieves competitive performance in both the detection and classification compared with state-of-the-art methods.

研究动机与目标

• 通过自动化标准切面合规性评估，减少胎儿超声图像质量控制中的主观性和工作负担。
• 解决图像噪声、声影、低分辨率结构以及胎儿运动等挑战，这些因素会妨碍准确检测和分类。
• 开发一种鲁棒、快速且可泛化的技术，用于识别头部、腹部和心脏胎儿切面中的关键解剖结构。
• 实现准确、客观且高效的质量评估，适用于在缺乏训练有素超声医师的地区部署。
• 通过在统一的多任务学习架构中整合特征提取、区域建议和分类网络，提升检测和分类性能。

提出的方法

• 使用特征提取网络（FEN）从2D胎儿超声图像中学习深层表征。
• 区域建议网络（RPN）基于提取的特征，识别包含关键解剖结构的候选感兴趣区域（ROIs）。
• 类别预测网络（CPN）利用相同的特征图，判断检测到的结构是否符合标准切面标准。
• 引入关系模块，通过建模完整图像与单个检测结构之间的关系，增强特征学习。
• 该框架利用多任务学习，联合优化检测与分类，从而提高准确率和推理速度。
• 适配并改进先进的目标检测技术，以提升在低对比度、噪声大及旋转的胎儿超声图像上的性能。

实验结果

研究问题

• RQ1 基于深度学习的多任务框架是否能在2D超声图像中对多个胎儿切面（头部、腹部、心脏）的关键解剖结构实现高精度检测？
• RQ2 所提出的多任务学习架构在胎儿标准切面评估中的检测与分类性能，相较于最先进方法表现如何？
• RQ3 该方法在多大程度上可减少胎儿超声检查质量控制所需的时间和专业技能？
• RQ4 该方法在应对图像噪声、声影、解剖结构相似性以及胎儿运动等挑战时，其鲁棒性如何？
• RQ5 该框架是否可在不同超声扫描仪之间实现泛化？其跨扫描仪适用性存在哪些局限？

主要发现

• 所提方法在检测与分类任务中均表现出具有竞争力的性能，优于最先进方法，如Zehui Lin提出的框架。
• 系统在不到一秒内完成单张2D胎儿超声图像的评估，显著快于超声医师的手动评估。
• 检测与分类结果与专业超声医师高度一致，展现出强大的可靠性与客观性。
• 关系模块与多任务学习架构的整合增强了特征表示，提升了检测准确率。
• 该方法在头部、腹部和心脏三个胎儿切面中均保持高性能，证明了其在标准切面评估范围内的泛化能力。
• 尽管准确率很高，但由于评估标准严格，仍存在部分误差，尤其当仅可见结构的部分（如结构中段）时。