[论文解读] Benchmarking of Lightweight Deep Learning Architectures for Skin Cancer Classification using ISIC 2017 Dataset

Abdurrahim Yılmaz, Mucahit Kalebasi+3 more|arXiv (Cornell University)|Oct 23, 2021

Cutaneous Melanoma Detection and Management被引用 14

一句话总结

本研究在 ISIC 2017 皮肤癌数据集上，通过迁移学习和数据增强，对轻量级深度学习模型——MobileNet、MobileNetV2 和 NASNetMobile 进行了基准测试。使用 16 批大小的 NASNetMobile 模型表现最佳，准确率达到 82.00%，精确率为 81.77%，F1 得分为 0.8038，表明较小的批大小能提升移动模型在皮肤癌分类任务中的泛化能力。

ABSTRACT

Skin cancer is one of the deadly types of cancer and is common in the world. Recently, there has been a huge jump in the rate of people getting skin cancer. For this reason, the number of studies on skin cancer classification with deep learning are increasing day by day. For the growth of work in this area, the International Skin Imaging Collaboration (ISIC) organization was established and they created an open dataset archive. In this study, images were taken from ISIC 2017 Challenge. The skin cancer images taken were preprocessed and data augmented. Later, these images were trained with transfer learning and fine-tuning approach and deep learning models were created in this way. 3 different mobile deep learning models and 3 different batch size values were determined for each, and a total of 9 models were created. Among these models, the NASNetMobile model with 16 batch size got the best result. The accuracy value of this model is 82.00%, the precision value is 81.77% and the F1 score value is 0.8038. Our method is to benchmark mobile deep learning models which have few parameters and compare the results of the models.

研究动机与目标

• 评估轻量级深度学习模型在 ISIC 2017 数据集上进行皮肤癌分类的性能。
• 研究批大小作为超参数对移动深度学习模型泛化能力和性能的影响。
• 比较使用移动架构进行皮肤癌检测时，迁移学习与微调方法的差异。
• 识别出适用于高效、高精度皮肤癌分类的最优模型与超参数配置。

提出的方法

• 对 ISIC 2017 数据集应用了预处理和数据增强，包括 HSV 颜色空间转换和图像旋转，以提升数据集的多样性。
• 使用 ImageNet 预训练权重，对三种轻量级模型——MobileNet、MobileNetV2 和 NASNetMobile 进行了微调。
• 共训练了九个模型，采用三种不同的批大小（16、32、64），以评估超参数的敏感性。
• 通过混淆矩阵计算标准评估指标，包括准确率、精确率、F1 得分和 AUC。
• 使用 Keras 库进行训练，共训练 150 个周期，验证集占训练数据的 20%。
• 根据验证集表现选择最佳模型，并在保留的测试集上进行最终测试。

实验结果

研究问题

• RQ1 轻量级深度学习模型在 ISIC 2017 数据集上的皮肤癌分类任务中表现如何？
• RQ2 批大小对移动深度学习模型在皮肤癌分类任务中泛化能力和性能有何影响？
• RQ3 在 ISIC 2017 数据集中，MobileNet、MobileNetV2 和 NASNetMobile 中哪一轻量级架构能达到最高的准确率和 F1 得分？
• RQ4 通过微调进行迁移学习是否能以极少参数量和更短的推理时间实现高性能？

主要发现

• NASNetMobile 模型在批大小为 16 时，在 ISIC 2017 测试集上取得了最高的准确率 82.00%。
• 该模型同时记录了 81.77% 的精确率和 0.8038 的 F1 得分，优于所有其他配置。
• 所有架构中，批大小为 16 的模型在泛化能力上显著优于批大小为 32 或 64 的模型。
• MobileNetV2 在批大小为 16 时，取得了第二高的准确率（81.45%）和所有模型中最高的 F1 得分（0.8114）。
• 所有模型的平均准确率分别为：MobileNet 为 79.60%，MobileNetV2 为 80.30%，NASNetMobile 为 79.70%，表明 MobileNetV2 的平均性能更优。
• AUC 得分范围为 0.8684 至 0.9050，其中 NASNetMobile（批大小 16）达到 0.8832，显示出强大的判别能力。