[论文解读] Deep Transfer Learning for Automated Diagnosis of Skin Lesions from Photographs

Emma Rocheteau, Doyoon Kim|arXiv (Cornell University)|Nov 6, 2020

Cutaneous Melanoma Detection and Management参考文献 35被引用 4

一句话总结

本研究评估了11种深度神经网络在皮肤病变照片中自动检测黑色素瘤时的迁移学习效果，采用在ISIC 2020数据集上微调的ImageNet预训练模型。使用迁移学习的EfficientNet取得了最高性能，AUROC达到0.975 ± 0.002，AUPRC达到0.906 ± 0.006，优于普通医生（AUROC 0.83 ± 0.03）和皮肤科医生（AUROC 0.91 ± 0.02）。

ABSTRACT

Melanoma is not the most common form of skin cancer, but it is the most deadly. Currently, the disease is diagnosed by expert dermatologists, which is costly and requires timely access to medical treatment. Recent advances in deep learning have the potential to improve diagnostic performance, expedite urgent referrals and reduce burden on clinicians. Through smart phones, the technology could reach people who would not normally have access to such healthcare services, e.g. in remote parts of the world, due to financial constraints or in 2020, COVID-19 cancellations. To this end, we have investigated various transfer learning approaches by leveraging model parameters pre-trained on ImageNet with finetuning on melanoma detection. We compare EfficientNet, MnasNet, MobileNet, DenseNet, SqueezeNet, ShuffleNet, GoogleNet, ResNet, ResNeXt, VGG and a simple CNN with and without transfer learning. We find the mobile network, EfficientNet (with transfer learning) achieves the best mean performance with an area under the receiver operating characteristic curve (AUROC) of 0.931$\pm$0.005 and an area under the precision recall curve (AUPRC) of 0.840$\pm$0.010. This is significantly better than general practitioners (0.83$\pm$0.03 AUROC) and dermatologists (0.91$\pm$0.02 AUROC).

研究动机与目标

• 评估使用ImageNet预训练模型进行迁移学习在智能手机照片中自动诊断黑色素瘤的有效性。
• 比较11种深度学习架构（从MobileNet到EfficientNet）在黑色素瘤与良性皮肤病变二分类任务中的性能。
• 评估迁移学习是否能利用真实世界临床数据，使诊断准确率超越普通医生和皮肤科医生。
• 通过集成梯度法研究模型可解释性，可视化病变图像中特征的重要性。
• 探索在移动设备上部署高精度、轻量级模型以实现去中心化、保护隐私的皮肤癌筛查的可行性。

提出的方法

• 通过使用ImageNet预训练权重初始化模型，并在包含37,648张皮肤病变图像（黑色素瘤患病率为2%）的ISIC 2020数据集上进行微调，应用迁移学习。
• 训练了一个5层标准CNN作为基线，不使用迁移学习进行对比。
• 训练期间应用数据增强，包括随机旋转、翻转、亮度和饱和度调整，以提高模型鲁棒性和泛化能力。
• 采用集成梯度法计算特征归因，通过从黑色基线到输入图像的路径积分计算重要性得分。
• 使用AUROC、AUPRC、精确率和召回率评估模型性能，并对所有指标进行显著性检验。
• 静态患者特征（年龄、性别、身体部位）单独处理后，与CNN特征输出拼接，再进行最终预测。

实验结果

研究问题

• RQ1 与从零开始训练相比，使用ImageNet预训练模型进行迁移学习是否显著提升黑色素瘤检测性能？
• RQ2 在ISIC 2020皮肤病变分类任务中，哪种深度神经网络架构达到最高的诊断性能？
• RQ3 基于迁移学习的模型是否能超越人类专家（特别是普通医生和皮肤科医生）在区分黑色素瘤与良性病变方面的表现？
• RQ4 模型如何关注皮肤病变图像中的相关特征？其注意力模式是否与临床诊断线索（如不规则边界）一致？
• RQ5 轻量级、面向移动设备的模型（如EfficientNet和MnasNet）能否在实现高性能的同时，支持设备端推理以满足隐私合规要求？

主要发现

• 所有11种深度学习模型（包括MobileNet和EfficientNet）在使用迁移学习后，各项评估指标均显著优于未使用迁移学习的情况。
• 使用迁移学习的EfficientNet达到最高AUROC（0.975 ± 0.002），超过皮肤科医生（0.91 ± 0.02）和普通医生（0.83 ± 0.03）。
• 同一模型达到AUPRC 0.906 ± 0.006，表明在检测罕见黑色素瘤病例时具有良好的精确率-召回率平衡。
• 集成梯度可视化显示，模型主要关注病变边缘和内部纹理，与黑色素瘤的临床体征（如不规则边界和色素分布不均）一致。
• 专为移动部署设计的MnasNet和EfficientNet实现了最高性能，表明其适用于设备端、保护隐私的皮肤癌筛查应用。
• 无模型因迁移学习而性能受损，所有模型均从预训练中受益，证实迁移学习在该医学影像任务中具有稳健优势。