[论文解读] Liver Steatosis Segmentation with Deep Learning Methods

Xiaoyuan Guo, Fusheng Wang+3 more|arXiv (Cornell University)|Nov 16, 2019

Spectroscopy Techniques in Biomedical and Chemical Research参考文献 9被引用 6

一句话总结

本文提出了一种基于Mask-RCNN的深度学习框架，用于在全玻片组织病理学图像中对重叠的肝脂肪变性脂滴进行精确分割。通过利用迁移学习和基于先前细胞核分割的半自动数据生成流程，该方法在平均精确率、召回率、F1分数和Jaccard指数方面分别达到75.87%、60.66%、65.88%和76.97%，显著优于以往用于肝病诊断和移植评估中脂肪变性定量分析的方法。

ABSTRACT

Liver steatosis is known as the abnormal accumulation of lipids within cells. An accurate quantification of steatosis area within the liver histopathological microscopy images plays an important role in liver disease diagnosis and trans-plantation assessment. Such a quantification analysis often requires a precise steatosis segmentation that is challenging due to abundant presence of highly overlapped steatosis droplets. In this paper, a deep learning model Mask-RCNN is used to segment the steatosis droplets in clumps. Extended from Faster R-CNN, Mask-RCNN can predict object masks in addition to bounding box detection. With transfer learning, the resulting model is able to segment overlapped steatosis regions at 75.87% by Average Precision, 60.66% by Recall,65.88% by F1-score, and 76.97% by Jaccard index, promising to support liver disease diagnosis and allograft rejection prediction in future clinical practice.

研究动机与目标

• 为解决由于边界模糊和聚集现象导致难以量化的肝组织病理学图像中重叠脂肪变性脂滴的精确分割挑战。
• 开发一种基于深度学习的方法，以在分割复杂、密集排列的脂肪变性区域方面优于传统的人工视觉检查和以往的自动化方法。
• 通过改进先前的细胞核分割方法并结合专家验证，生成高质量、可扩展的训练数据集，用于脂肪变性分割。
• 实现稳健的、自动化的脂肪变性定量分析，以支持肝病诊断和同种异体移植物排斥反应预测等临床应用。
• 评估不同ResNet主干网络在脂肪变性实例分割任务中的表现，并识别出最优网络架构。

提出的方法

• 采用Mask-RCNN（一种实例分割模型），通过预测边界框和像素级掩码，实现对全玻片图像中单个脂肪变性脂滴的检测与分割。
• 使用在ImageNet上预训练的ResNet主干网络（ResNet41、ResNet50、ResNet65）进行迁移学习，并在自定义脂肪变性数据集上进行微调，以提升模型的泛化能力和准确性。
• 采用数据生成流程，将彩色组织病理学图像转换为灰度图，应用阈值处理，并通过紧凑性过滤和基于曲率的点投票法识别聚集的脂滴，生成初始掩码。
• 在扇形区域中应用椭圆拟合和局部强度分析，以恢复分隔曲线，从而从聚集区域中分离出单个脂肪变性脂滴。
• 通过在线数据增强（随机仿射变换、翻转、高斯模糊）增加训练数据的多样性，提升模型的鲁棒性。
• 在后处理阶段应用用户定义的尺寸、周长和偏心率阈值，对分割结果进行过滤，支持病理科医生的个性化调整。

实验结果

研究问题

• RQ1 深度学习模型是否能有效分割全玻片组织病理学图像中因边界模糊和聚集现象而使传统方法失效的重叠脂肪变性脂滴？
• RQ2 在分割复杂、密集排列的脂肪变性区域时，不同ResNet主干网络的Mask-RCNN性能表现如何？
• RQ3 基于先前细胞核分割的半自动数据生成流程，在多大程度上能提升训练数据质量并减少人工标注负担？
• RQ4 在低资源医学影像环境下，从预训练模型进行迁移学习是否能显著提升脂肪变性分割的准确性？
• RQ5 通过形态学特征阈值（如尺寸、周长、偏心率）进行后处理，是否能通过过滤掉生物上不合理的或噪声较多的分割结果，从而提升临床相关性？

主要发现

• 采用ResNet50主干网络的Mask-RCNN模型在测试集上表现最佳，平均精确率达到75.87%，召回率为60.66%，F1分数为65.88%，Jaccard指数为76.97%。
• 与先前基于细胞核的分割方法（Clump_seg）相比，本方法在所有指标上均表现更优，Jaccard指数提升了23.69个百分点。
• ResNet50主干网络的模型在泛化能力方面表现更优，且显著减少了欠分割错误，优于使用ResNet41和ResNet65主干网络的模型。
• 在线数据增强和迁移学习的结合显著提升了模型在不同组织学图像外观下的鲁棒性和泛化能力。
• 通过尺寸、周长和偏心率阈值进行后处理，使病理科医生能够基于生物学合理性对结果进行过滤，显著增强了临床可用性。
• 该方法即使在具有复杂拓扑结构的高度聚集区域中，也能成功分割出单个脂滴，展现出在具有挑战性的空间构型下的强大性能。