[论文解读] Deep Learning in Medical Ultrasound Image Segmentation: a Review

Ziyang Wang|arXiv (Cornell University)|Feb 18, 2020

Radiomics and Machine Learning in Medical Imaging参考文献 36被引用 18

一句话总结

本综述将用于医学超声图像分割的深度学习方法系统性地划分为六类——全卷积网络（FCN）、编码器-解码器、循环神经网络（RNN）、生成对抗网络（GAN）、弱监督学习和深度强化学习，对代表性模型、评估协议、数据集及性能表现进行了详细分析。研究指出2D FCN和U-Net架构占据主导地位，识别出数据标注与模型效率方面的挑战，并提出未来研究方向，包括3D分割、轻量化模型以及多模态学习。

ABSTRACT

Applying machine learning technologies, especially deep learning, into medical image segmentation is being widely studied because of its state-of-the-art performance and results. It can be a key step to provide a reliable basis for clinical diagnosis, such as 3D reconstruction of human tissues, image-guided interventions, image analyzing and visualization. In this review article, deep-learning-based methods for ultrasound image segmentation are categorized into six main groups according to their architectures and training at first. Secondly, for each group, several current representative algorithms are selected, introduced, analyzed and summarized in detail. In addition, common evaluation methods for image segmentation and ultrasound image segmentation datasets are summarized. Further, the performance of the current methods and their evaluations are reviewed. In the end, the challenges and potential research directions for medical ultrasound image segmentation are discussed.

研究动机与目标

• 提供针对医学超声图像分割的深度学习技术的全面、最新综述。
• 基于架构与训练策略，将现有深度学习方法划分为六类。
• 总结不同方法在评估指标、公开数据集及报告性能方面的共性。
• 识别当前深度学习模型在超声图像分割中的关键挑战，尤其关注数据标注成本与模型效率问题。
• 概述未来研究方向，包括3D分割、轻量化模型以及多模态迁移学习。

提出的方法

• 将基于深度学习的超声图像分割方法划分为六类：全卷积网络（FCN）、编码器-解码器网络、循环神经网络（RNN）、生成对抗网络（GAN）、弱监督学习（WSL）和深度强化学习（DRL）。
• 回顾各类中的代表性模型，如FCN类的CFS-FCN、DF-FCN和DSN-OB；编码器-解码器类的U-Net及其变体；以及针对特定任务的专用模型，如FickleNet和基于DRL的方法。
• 分析架构创新，如跳跃连接、注意力机制、多尺度特征融合，以及通过方向融合特征图实现的3D上下文整合。
• 采用标准评估指标（如Dice相似系数（DSC）、交并比（IOU）、Jaccard指数和准确率）评估模型性能，结果基于PASCAL VOC 2012、深圳数据集和自动化心脏诊断挑战赛等公开数据集报告。
• 讨论训练策略，如多阶段增量学习、无监督域自适应，以及DRL中的自我对弈机制，以提升泛化能力。
• 综述2D预训练模型在3D超声图像分割中的应用，通过横断面重组织与3D特征融合提升性能。

实验结果

研究问题

• RQ1 不同深度学习架构（如FCN、U-Net、GAN和RNN）在分割各类解剖结构的医学超声图像时表现如何？
• RQ2 用于验证超声图像分割模型的最有效评估指标与基准数据集是什么？
• RQ3 当前深度学习模型在超声图像分割中的主要局限性是什么，特别是数据标注成本与模型效率方面？
• RQ4 弱监督与自监督学习方法如何减少对昂贵像素级标注的依赖？
• RQ5 未来研究方向中，如3D分割、轻量化模型与多模态学习，哪些最有可能推动临床部署？

主要发现

• 近80%的超声图像分割深度学习模型基于2D全卷积网络或编码器-解码器架构，表明尽管存在3D数据，仍高度依赖2D方法。
• DSN-OB模型通过结合粗粒度与细粒度监督，并引入融合层，有效降低了边界模糊性，在血管与病灶分割中取得良好效果。
• 方向融合全卷积网络（DF-FCN）通过融合三个正交方向的特征图，提升了3D上下文建模能力，在导管检测任务中显著提高了分割精度。
• 弱监督学习方法（如使用边界框或线段标注）实现了中等性能，MC数据集上IOU为21.61–24.61，脊髓灰质体挑战赛中DSC达84.72。
• 深度强化学习方法在前列腺分割中表现优异，在仅60张图像的小数据集上实现了0.9096的区域重叠率。
• 尽管在基准数据集上表现优异，模型常因超声图像外观异质性（受器官深度、组织特性及操作者差异影响）而难以泛化。