[论文解读] Region-based Convolution Neural Network Approach for Accurate Segmentation of Pelvic Radiograph

Ata Jodeiri, Reza A. Zoroofi+5 more|arXiv (Cornell University)|Oct 29, 2019

Medical Imaging and Analysis参考文献 21被引用 4

一句话总结

本文提出了一种基于Mask R-CNN的多任务学习框架，用于在X光片中实现精确的骨盆骨骼分割，通过ImageNet的迁移学习和数据增强技术，提升了在复杂解剖变异情况下的性能。在相同训练条件下，该方法的DICE系数达到0.96，显著优于U-Net，且采用了相同的数据增强和微调策略。

ABSTRACT

With the increasing usage of radiograph images as a most common medical imaging system for diagnosis, treatment planning, and clinical studies, it is increasingly becoming a vital factor to use machine learning-based systems to provide reliable information for surgical pre-planning. Segmentation of pelvic bone in radiograph images is a critical preprocessing step for some applications such as automatic pose estimation and disease detection. However, the encoder-decoder style network known as U-Net has demonstrated limited results due to the challenging complexity of the pelvic shapes, especially in severe patients. In this paper, we propose a novel multi-task segmentation method based on Mask R-CNN architecture. For training, the network weights were initialized by large non-medical dataset and fine-tuned with radiograph images. Furthermore, in the training process, augmented data was generated to improve network performance. Our experiments show that Mask R-CNN utilizing multi-task learning, transfer learning, and data augmentation techniques achieve 0.96 DICE coefficient, which significantly outperforms the U-Net. Notably, for a fair comparison, the same transfer learning and data augmentation techniques have been used for U-net training.

研究动机与目标

• 为解决在X光片中对骨盆骨骼进行精确分割的挑战，特别是在存在严重解剖畸形的患者中。
• 克服U-Net在处理复杂骨盆形态和低对比度结构方面的局限性。
• 开发一种鲁棒的、基于深度学习的分割框架，能够在各种骨盆形态间良好泛化。
• 评估迁移学习和数据增强对医学影像中分割性能的影响。

提出的方法

• 采用基于区域的卷积神经网络（Mask R-CNN）架构，实现对骨盆骨骼的实例分割。
• 使用在ImageNet上预训练的模型初始化网络权重，以实现迁移学习。
• 在骨盆X光片数据集上微调模型，使其适应医学影像的特征。
• 在训练过程中应用数据增强技术，以提高模型的鲁棒性和泛化能力。
• 采用多任务学习，联合优化边界框检测和掩码预测。
• 使用标准评估指标，包括DICE系数，以量化分割精度。

实验结果

研究问题

• RQ1 基于区域的CNN（如Mask R-CNN）在X光片中的骨盆骨骼分割精度是否显著优于U-Net？
• RQ2 从大规模非医学数据集（如ImageNet）进行迁移学习，如何提升在有限医学影像数据上的分割性能？
• RQ3 数据增强在复杂骨盆形态上的模型泛化能力方面，能提升到何种程度？
• RQ4 在Mask R-CNN中采用多任务学习是否能带来比单任务U-Net更鲁棒、更精确的分割结果？
• RQ5 当在相同训练协议下统一应用于Mask R-CNN和U-Net时，所提出的技术有何对比表现？

主要发现

• 所提出的Mask R-CNN方法在相同训练条件下取得了0.96的DICE系数，显著优于U-Net。
• 利用ImageNet的迁移学习显著提升了模型在骨盆X光片上的收敛速度和分割精度。
• 数据增强技术增强了模型的鲁棒性，尤其在存在严重解剖畸形的困难病例中表现更优。
• Mask R-CNN中的多任务学习实现了检测与分割的联合优化，提升了定位精度和边界准确性。
• 当采用相同的数据增强和迁移学习协议进行训练时，U-Net的DICE得分低于所提方法，证实了基于区域方法的优越性。