[论文解读] Multi-class Semantic Segmentation of Skin Lesions via Fully Convolutional Networks

Manu S. Goyal, Moi Hoon Yap+1 more|arXiv (Cornell University)|Nov 28, 2017

Cutaneous Melanoma Detection and ManagementMedicine被引用 20

一句话总结

本文提出了一种基于全卷积网络（FCNs）的端到端多类别皮肤病变语义分割框架，采用两级迁移学习和混合损失函数以解决类别不平衡问题。在ISIC-2017测试集上，该方法对痣的Dice分数达到78.5%，对黑色素瘤为65.3%，对脂溢性角化病为55.7%，经后处理后黑色素瘤的病变诊断准确率达到84.62%。

ABSTRACT

Melanoma is clinically difficult to distinguish from common benign skin lesions, particularly melanocytic naevus and seborrhoeic keratosis. The dermoscopic appearance of these lesions has huge intra-class variations and high inter-class visual similarities. Most current research is focusing on single-class segmentation irrespective of classes of skin lesions. In this work, we evaluate the performance of deep learning on multi-class segmentation of ISIC-2017 challenge dataset, which consists of 2,750 dermoscopic images. We propose an end-to-end solution using fully convolutional networks (FCNs) for multi-class semantic segmentation to automatically segment the melanoma, seborrhoeic keratosis and naevus. To improve the performance of FCNs, transfer learning and a hybrid loss function are used. We evaluate the performance of the deep learning segmentation methods for multi-class segmentation and lesion diagnosis (with post-processing method) on the testing set of the ISIC-2017 challenge dataset. The results showed that the two-tier level transfer learning FCN-8s achieved the overall best result with \ extit{Dice} score of 78.5% in a naevus category, 65.3% in melanoma, and 55.7% in seborrhoeic keratosis in multi-class segmentation and Accuracy of 84.62% for recognition of melanoma in lesion diagnosis.

研究动机与目标

• 解决皮肤病变多类别语义分割中类别内差异大且类别间视觉相似性高的挑战。
• 通过两级迁移学习缓解黑色素瘤和脂溢性角化病类别数据稀缺的问题。
• 通过一种新型混合损失函数提升在类别不平衡数据集上的分割性能。
• 评估后处理策略在多类别分割与病变诊断中提升深度学习模型有效性的能力。
• 为皮肤科多类别医学图像分割建立新的基准。

提出的方法

• 使用全卷积网络（FCNs）包括FCN-AlexNet、FCN-32s、FCN-16s和FCN-8s，对三种皮肤病变类型进行像素级分类。
• 应用两级迁移学习：先在ImageNet上预训练，再在ISIC-2017数据集上微调，以增强特征学习能力。
• 设计一种混合损失函数，结合交叉熵损失和Dice损失，以缓解分割任务中的类别不平衡问题。
• 将所有皮肤镜图像统一缩放为500×375像素，以标准化输入并降低计算成本。
• 采用基于优先级的后处理策略进行病变诊断：恶性病变（黑色素瘤）优先于良性病变（SK和痣），优先级依据训练集大小确定。
• 使用Dice分数、MCC、敏感性与准确率等指标，在ISIC-2017测试集上评估模型性能。

实验结果

研究问题

• RQ1 全卷积网络能否有效实现高视觉相似性类别间皮肤病变的多类别语义分割？
• RQ2 两级迁移学习在有限医学影像数据集上如何提升分割性能？
• RQ3 混合损失函数在多大程度上缓解了皮肤病变分割中因类别不平衡导致的性能下降？
• RQ4 尽管某些类别分割性能欠佳，后处理策略是否能显著提升病变诊断准确率？
• RQ5 在多类别皮肤病变分析中，分割准确率与诊断准确率之间存在多大性能差距？

主要发现

• 采用两级迁移学习的FCN-8s模型整体性能最高，在ISIC-2017测试集上对痣的Dice分数为78.5%，对黑色素瘤为65.3%，对脂溢性角化病为55.7%。
• FCN-AlexNet在痣类别上取得了最佳Dice分数（0.819）和MCC（0.814），表明其对最常见类别具有优异性能。
• 尽管分割分数较低，后处理方法在测试集中实现了84.62%的黑色素瘤诊断准确率，证明了诊断级优化的价值。
• 脂溢性角化病的诊断准确率达到74.44%，凸显了数据稀缺对模型泛化能力的影响。
• 所有类别整体诊断准确率为80.83%，表明后处理策略在真实临床诊断场景中具有鲁棒性。
• 由于训练样本数量有限（黑色素瘤521张，脂溢性角化病386张），相较于1,843张痣的图像，黑色素瘤和脂溢性角化病的分割性能显著偏低。