[论文解读] Automatic kidney segmentation in ultrasound images using subsequent boundary distance regression and pixelwise classification networks

Shi Yin, Qinmu Peng+6 more|arXiv (Cornell University)|Nov 12, 2018

Pediatric Urology and Nephrology Studies参考文献 29被引用 8

一句话总结

本文提出了一种用于超声图像中自动肾脏分割的两阶段深度学习框架，结合了边界距离回归与像素级分类网络。通过利用预训练特征和基于形状的数据增强策略，该方法在具有可变肾脏形态和强度模式的挑战性超声图像上，显著优于标准像素分类网络，显著提升了分割精度。

ABSTRACT

It remains challenging to automatically segment kidneys in clinical ultrasound (US) images due to the kidneys' varied shapes and image intensity distributions, although semi-automatic methods have achieved promising performance. In this study, we propose subsequent boundary distance regression and pixel classification networks to segment the kidneys, informed by the fact that the kidney boundaries have relatively homogenous texture patterns across images. Particularly, we first use deep neural networks pre-trained for classification of natural images to extract high-level image features from US images, then these features are used as input to learn kidney boundary distance maps using a boundary distance regression network, and finally the predicted boundary distance maps are classified as kidney pixels or non-kidney pixels using a pixel classification network in an end-to-end learning fashion. We also adopted a data-augmentation method based on kidney shape registration to generate enriched training data from a small number of US images with manually segmented kidney labels. Experimental results have demonstrated that our method could effectively improve the performance of automatic kidney segmentation, significantly better than deep learning-based pixel classification networks.

研究动机与目标

• 解决由于肾脏形态和强度分布可变性导致的超声图像中自动肾脏分割的挑战。
• 通过利用不同超声图像中肾脏边界处的结构模式，提升分割精度。
• 开发一种将边界距离回归与像素级分类相结合的端到端深度学习框架。
• 通过基于肾脏形状配准的数据增强技术，提升在标注数据有限的超声图像中的训练数据效率。
• 在临床超声图像数据集上实现最先进的自动肾脏分割性能。

提出的方法

• 利用在自然图像分类任务上预训练的深度神经网络（最初在自然图像分类任务上训练）从超声图像中提取高层特征。
• 采用边界距离回归网络，预测指示每个像素到肾脏边界距离的距离图。
• 应用像素分类网络，基于预测的边界距离图将每个像素分类为肾脏或非肾脏。
• 以端到端学习方式将两个网络集成，联合优化边界检测与像素分类。
• 应用基于肾脏形状配准的数据增强方法，从少量手动分割的超声图像中生成多样化的训练样本。
• 使用真实分割结果作为标签，通过监督学习训练整个模型。

实验结果

研究问题

• RQ1 边界距离回归能否提升超声图像中自动肾脏分割的精度？
• RQ2 将边界距离回归与像素级分类相结合，是否优于标准的基于深度学习的分割网络？
• RQ3 基于形状的数据增强在标注数据有限的情况下，能在多大程度上提升模型的泛化能力？
• RQ4 来自自然图像分类的预训练特征能否有效迁移至医学超声图像分割任务？
• RQ5 所提出的方法在临床超声扫描中面对肾脏形态和图像强度变化时，其鲁棒性如何？

主要发现

• 所提出的方法在肾脏分割精度上显著优于标准的基于深度学习的像素分类网络。
• 将边界距离回归与像素分类相结合，能更精确地定位边界，尤其在低对比度或噪声区域表现更优。
• 基于形状的数据增强技术能有效提升训练数据的多样性，即使标注样本有限，也能改善模型的泛化能力。
• 利用来自自然图像分类的预训练特征，能增强超声图像的特征表示学习能力。
• 端到端训练策略实现了边界检测与分割的联合优化，从而显著提升了整体性能。
• 该方法在临床超声扫描中面对常见的肾脏形态变化和图像强度模式变化时，表现出强大的鲁棒性。