[论文解读] Skin Lesion Analysis Towards Melanoma Detection via End-to-end Deep Learning of Convolutional Neural Networks

Katherine M. Li, Evelyn C. Li|arXiv (Cornell University)|Jul 22, 2018

Cutaneous Melanoma Detection and Management参考文献 11被引用 14

一句话总结

本文提出了一种端到端深度学习方法，结合Mask R-CNN与微调的CNN（如DenseNet201），用于皮肤病变分割与黑色素瘤诊断。通过利用ImageNet预训练权重，并将主干网络重新初始化为病变诊断模型的权重，该方法在类别不平衡的HAM10000数据集上，病变边界分割的Jaccard指数达到0.818，使用裁剪病变图像后诊断准确率提升了2%，显著提升了诊断性能。

ABSTRACT

This article presents the design, experiments and results of our solution submitted to the 2018 ISIC challenge: Skin Lesion Analysis Towards Melanoma Detection. We design a pipeline using state-of-the-art Convolutional Neural Network (CNN) models for a Lesion Boundary Segmentation task and a Lesion Diagnosis task.

研究动机与目标

• 开发一种基于最先进CNN的端到端深度学习流程，用于皮肤病变分割与黑色素瘤诊断。
• 通过类别权重与数据增强，解决HAM10000数据集中类别不平衡的问题。
• 通过使用预训练诊断模型的权重重新初始化ResNet50主干网络，提升病变边界分割性能。
• 利用分割结果作为掩码，通过裁剪病变区域评估其对诊断准确率的影响。
• 在缺乏显式临床特征标注（如ABCDE标准）的情况下，证明端到端训练相较于模块化特征方法更具有效性。

提出的方法

• 采用以ResNet50为主干的Mask R-CNN进行病变边界分割，将所有病变视为单一类别，同时引入背景类别。
• 使用ImageNet预训练权重初始化ResNet50主干网络，并随后通过训练好的病变诊断模型权重进行微调，以提升皮肤病变的特征提取能力。
• 在全局平均池化与Softmax分类框架下，使用多分类交叉熵损失函数，训练多种CNN架构（ResNet152、DenseNet201、Inception_V4）进行多类别病变诊断。
• 在损失函数中应用类别权重，以缓解HAM10000数据集中严重的类别不平衡问题。
• 利用第一项任务的分割掩码裁剪病变区域，并在裁剪后的图像上重新训练诊断模型，以聚焦于病变特异性特征。
• 通过Jaccard指数评估分割性能，通过归一化多分类准确率评估诊断性能，并在20%的数据验证集上进行验证。

实验结果

研究问题

• RQ1 与标准ImageNet预训练相比，采用微调特征提取的端到端深度学习是否能提升病变边界分割的准确性？
• RQ2 使用病变诊断模型的权重重新初始化CNN主干网络，对分割性能有何影响？
• RQ3 基于分割掩码裁剪病变区域，在多类别皮肤病变诊断中的准确率提升程度如何？
• RQ4 类别权重是否能有效缓解在类别不平衡的HAM10000数据集中少数类别（如纤维瘤，115张图像）的性能下降问题？
• RQ5 当数据集中缺乏临床特征（如不对称性、直径等）的真值标注时，端到端方法是否优于模块化特征方法？

主要发现

• 使用训练好的病变诊断模型权重重新初始化ResNet50主干网络后，验证集上病变边界分割的Jaccard指数从0.783提升至0.818。
• 使用从分割掩码中提取的裁剪病变图像，使多类别病变诊断的归一化准确率提升了2个百分点。
• 在所测试的模型中，DenseNet201在诊断任务中表现最佳，如混淆矩阵所示，其在所有类别上均表现出良好的泛化能力。
• 类别权重显著提升了少数类别（如纤维瘤，115张图像）的模型性能，通过为低频类别分配更高的损失权重。
• 裁剪带来的性能增益高度依赖于分割质量，表明分割与诊断流程具有强耦合性。
• 由于数据集中缺乏真实临床特征标注（如不对称性、直径等），端到端方法在本设置下优于模块化特征方法。