[论文解读] An Evaluation of Self-Supervised Pre-Training for Skin-Lesion Analysis

Levy Chaves, Alceu Bissoto+2 more|arXiv (Cornell University)|Jun 17, 2021

Cutaneous Melanoma Detection and Management被引用 4

一句话总结

该论文评估了自监督预训练方法——BYOL、InfoMin、MoCo、SimCLR 和 SwAV——在皮肤病变分类中的表现，将其与在五个数据集（包含分布内和分布外样本）上进行的监督 ImageNet 基线方法进行比较。自监督方法显著提升了准确率并降低了性能波动，尤其在低数据场景（<150 个样本）下表现更优，证明其在医学图像分析中具备更高的稳定性和鲁棒性。

ABSTRACT

Self-supervised pre-training appears as an advantageous alternative to supervised pre-trained for transfer learning. By synthesizing annotations on pretext tasks, self-supervision allows to pre-train models on large amounts of pseudo-labels before fine-tuning them on the target task. In this work, we assess self-supervision for the diagnosis of skin lesions, comparing three self-supervised pipelines to a challenging supervised baseline, on five test datasets comprising in- and out-of-distribution samples. Our results show that self-supervision is competitive both in improving accuracies and in reducing the variability of outcomes. Self-supervision proves particularly useful for low training data scenarios ($&lt;1\,500$ and $&lt;150$ samples), where its ability to stabilize the outcomes is essential to provide sound results.

研究动机与目标

• 评估自监督预训练在皮肤病变分类中的有效性，并与监督预训练进行对比。
• 在多样化数据集上评估模型性能，包括分布内和分布外测试集。
• 研究自监督学习在低数据训练场景（最少 148 个样本）下的影响。
• 分析自监督模型是否学习到比监督基线更鲁棒、更具泛化能力的表征。
• 探索对比学习作为微调前中间预训练步骤的实用性。

提出的方法

• 采用五种自监督预训练方法：BYOL、InfoMin、MoCo、SimCLR 和 SwAV，均以 ResNet-50 作为主干网络。
• 在 ImageNet 上使用对比学习、旋转预测和实例判别等掩码任务进行预训练。
• 采用两阶段迁移学习策略：先在自监督掩码任务上预训练，再在目标皮肤病变数据集上微调。
• 使用数据增强策略（裁剪、颜色抖动、高斯模糊）生成对比学习的正样本对。
• 在五个公开皮肤病变数据集（ISIC 2017、2018、2019、HAM10000、Derm7pt）上评估模型，包含分布内和分布外划分。
• 采用 Score-CAM 方法进行无需梯度的注意力图可视化，以解释模型决策并比较特征激活模式。

实验结果

研究问题

• RQ1 在多样化数据集上，自监督预训练方法在皮肤病变分类准确率方面与监督 ImageNet 基线相比如何？
• RQ2 自监督预训练是否能在低数据训练场景（如 <150 个样本）下提升性能并降低方差？
• RQ3 自监督模型在分布外测试集上的表现与监督基线相比如何？
• RQ4 自监督与监督模型在特征激活模式和注意力图方面存在哪些差异？
• RQ5 基于对比学习的自监督预训练能否作为医学影像中监督预训练的稳定且有效的替代方案？

主要发现

• 在所有五个测试数据集上，自监督预训练在平均准确率方面均显著优于监督 ImageNet 基线。
• 自监督模型在重复运行中的性能方差显著更低，尤其在低数据场景下表现更优。
• 在 1% 训练数据设置（148 个样本）下，自监督模型降低了性能波动并提升了平均准确率，优于监督基线。
• BYOL、SimCLR 和 SwAV 是表现最佳的自监督方法，其准确率更高且预测更稳定，优于监督基线。
• Score-CAM 可视化显示，自监督模型更关注更一致且具有生物学合理性的病变区域，尤其在低数据设置下表现突出。
• 双阶段预训练流程——即先进行自监督预训练，再进行微调——在数据稀缺条件下显著提升了结果的稳定性。