[论文解读] Semantic Segmentation of Human Thigh Quadriceps Muscle in Magnetic Resonance Images

Ezak Fadzrin Ahmad Shaubari, Manu Goyal+3 more|arXiv (Cornell University)|Jan 1, 2018

Advanced Neural Network Applications参考文献 38被引用 8

一句话总结

本文提出了一种基于全卷积网络（FCN-8s，使用Adam优化器）的端到端深度学习方法，用于MRI扫描中人体大腿股四头肌的语义分割，通过图像滤波和形态学操作的后处理步骤进行增强。该方法实现了新的最先进平均Jaccard相似性指数（JSI）0.9502，每张图像处理时间仅为0.117秒。

ABSTRACT

This paper presents an end-to-end solution for MRI thigh quadriceps segmentation. This is the first attempt that deep learning methods are used for the MRI thigh segmentation task. We use the state-of-the-art Fully Convolutional Networks with transfer learning approach for the semantic segmentation of regions of interest in MRI thigh scans. To further improve the performance of the segmentation, we propose a post-processing technique using basic image processing methods. With our proposed method, we have established a new benchmark for MRI thigh quadriceps segmentation with mean Jaccard Similarity Index of 0.9502 and processing time of 0.117 second per image.

研究动机与目标

• 开发一种端到端的深度学习解决方案，用于自动分割MRI大腿肌肉，特别是股四头肌、骨骼和骨髓。
• 通过最先进深度学习模型和迁移学习，建立MRI大腿肌肉分割的新基准。
• 通过一种新颖的后处理技术（结合图像滤波和形态学操作）提高分割精度。
• 在新整理的、专家标注的MRI数据集上，将深度学习模型与传统图像处理和机器学习方法进行性能比较。
• 证明深度学习在精度和速度方面均优于半自动和全自动的先前方法。

提出的方法

• 在大型、专家标注的MRI大腿肌肉数据集上，使用迁移学习微调全卷积网络（FCN-8s）。
• 采用Adam优化器进行训练，其在所有数据集上的分割精度均优于SGD。
• 应用后处理流程，包括高斯滤波和形态学操作（开运算和闭运算），以优化过度分割区域。
• 在三个不同数据集（中段扫描，MD；全扫描，WD；全扫描，AD）上进行模型训练与评估，以评估泛化能力。
• 使用平均Jaccard相似性指数（JSI）作为主要评估指标，量化分割结果与真实标注的重叠程度。
• 集成数据增强和归一化技术，以提升模型在训练过程中的鲁棒性和收敛性。

实验结果

研究问题

• RQ1 与传统图像处理和机器学习方法相比，深度学习模型能否在MRI大腿股四头肌分割中实现更优的语义分割性能？
• RQ2 在MRI大腿扫描中分割多种组织类型（股四头肌、骨骼、骨髓）时，最优的深度学习架构和优化器是什么？
• RQ3 所提出的后处理技术在减少过度分割和提升分割精度方面的有效性如何？
• RQ4 所提出的方法能否同时实现高精度和低推理时间，从而适用于临床和研究应用？
• RQ5 该模型在无需微调的情况下，能否在不同类型的MRI扫描（中段扫描、全扫描、全扫描）中保持良好泛化能力？

主要发现

• 经过后处理后，FCN-8s模型结合Adam优化器在全扫描（WD）数据集上实现了最高的平均Jaccard相似性指数（JSI）0.9502，创下新基准。
• 后处理步骤使WD数据集的JSI提升了0.0033，从0.9469提高到0.9502，尽管仅影响不到1%的图像。
• 该方法每张MRI图像平均处理时间为0.117秒，包括后处理，比文献[51]中先前的全自动方法快188倍。
• 即使不使用后处理，FCN-8s模型在WD数据集上的JSI（0.9469）也已超过先前半自动方法的基准（平均JSI = 0.95）。
• 所提出的方法实现了95.02%的JSI，单张图像处理时间仅为0.117秒，展现出高精度与高效率。
• 该模型在不同扫描类型中表现出一致性能，后处理后的JSI值分别为：MD为0.927，WD为0.9502，AD为0.9398。