[论文解读] A Smartphone based Application for Skin Cancer Classification Using Deep Learning with Clinical Images and Lesion Information

Breno Krohling, Pedro B. C. Castro+2 more|arXiv (Cornell University)|Apr 28, 2021

Cutaneous Melanoma Detection and Management参考文献 44被引用 15

一句话总结

本文提出了一种基于智能手机的深度学习应用，通过临床图像和患者人口统计学数据进行皮肤癌分类，利用在平衡数据集上训练的卷积神经网络（CNN）。该系统实现了85%的平衡准确率和96.42%的召回率，表明整合临床数据可提升仅使用图像模型的分类性能。

ABSTRACT

Over the last decades, the incidence of skin cancer, melanoma and non-melanoma, has increased at a continuous rate. In particular for melanoma, the deadliest type of skin cancer, early detection is important to increase patient prognosis. Recently, deep neural networks (DNNs) have become viable to deal with skin cancer detection. In this work, we present a smartphone-based application to assist on skin cancer detection. This application is based on a Convolutional Neural Network(CNN) trained on clinical images and patients demographics, both collected from smartphones. Also, as skin cancer datasets are imbalanced, we present an approach, based on the mutation operator of Differential Evolution (DE) algorithm, to balance data. In this sense, beyond provides a flexible tool to assist doctors on skin cancer screening phase, the method obtains promising results with a balanced accuracy of 85% and a recall of 96%.

研究动机与目标

• 开发一种基于智能手机的皮肤癌筛查应用，以改善医疗资源有限地区对皮肤癌的早期发现。
• 将临床图像数据和患者人口统计学信息整合到深度学习模型中，以提高分类准确率。
• 通过基于差分进化变异算子的创新方法，解决皮肤癌数据集中的数据不平衡问题。
• 评估临床信息对深度学习在皮肤癌分类中性能的影响。
• 部署并验证一个功能完整的移动应用程序，用于实际筛查应用。

提出的方法

• 使用智能手机收集的临床图像和患者人口统计学数据训练卷积神经网络（CNN）。
• 提出一种基于差分进化（DE）算法变异算子的数据平衡技术，以处理皮肤癌数据集中的类别不平衡问题。
• 通过平衡准确率、精确率、召回率和F1值等指标，评估多种数据平衡策略下的模型性能。
• 将系统实现为适用于Android和iOS平台的移动应用程序，实现在智能手机上的实时分类。
• 使用t-SNE可视化比较有无临床数据时的特征表示，以评估模型的可区分性。
• 在PAD-UFES-20数据集上验证该方法，并扩展以包含更多皮肤病变类型。

实验结果

研究问题

• RQ1 基于智能手机的深度学习应用能否有效利用临床图像和患者人口统计学数据对皮肤癌进行分类？
• RQ2 在皮肤癌分类中，整合患者人口统计学信息如何提升CNN的性能？
• RQ3 数据不平衡对模型性能有何影响？基于DE的数据平衡方法是否优于标准技术？
• RQ4 与现有移动皮肤癌检测系统相比，所提出的模型在准确率和召回率方面表现如何？
• RQ5 临床数据与图像数据的整合是否能促使模型产生更具区分度的特征表示？

主要发现

• 与仅使用图像的模型相比，临床信息的引入使平衡准确率提高1.4%，精确率提高1.1%，召回率提高2.4%。
• 当使用临床数据时，模型实现了85.50%的平衡准确率和96.42%的召回率，加权损失函数表现最佳。
• 基于DE的数据平衡方法取得了与加权损失相当的结果，平衡准确率为84.84%，召回率为96.12%。
• t-SNE可视化结果证实，使用临床数据的模型产生的特征表示比不使用临床数据的模型更具区分性。
• 该应用程序在早期筛查中表现出良好性能，召回率达96.42%，表明对黑色素瘤病例具有强敏感性。
• 由于所收集数据集规模有限，结果仍属初步，需在实际部署中进一步验证。