[论文解读] Improved skin lesion recognition by a Self-Supervised Curricular Deep Learning approach

Kirill Sirotkin, Marcos Escudero-Viñolo+2 more|arXiv (Cornell University)|Dec 22, 2021

Cutaneous Melanoma Detection and Management被引用 5

一句话总结

本文提出一种自监督课程深度学习方法，通过按复杂度递增顺序排列的一系列掩码任务，在无标签皮肤镜图像上预训练卷积神经网络。该方法在 ISIC-2019 皮肤病变分类基准上达到最先进性能，优于 ImageNet 预训练模型和单一掩码任务预训练方法，通过聚焦模型注意力于病变区域并显著减少预训练时间，实现了性能提升。

ABSTRACT

State-of-the-art deep learning approaches for skin lesion recognition often require pretraining on larger and more varied datasets, to overcome the generalization limitations derived from the reduced size of the skin lesion imaging datasets. ImageNet is often used as the pretraining dataset, but its transferring potential is hindered by the domain gap between the source dataset and the target dermatoscopic scenario. In this work, we introduce a novel pretraining approach that sequentially trains a series of Self-Supervised Learning pretext tasks and only requires the unlabeled skin lesion imaging data. We present a simple methodology to establish an ordering that defines a pretext task curriculum. For the multi-class skin lesion classification problem, and ISIC-2019 dataset, we provide experimental evidence showing that: i) a model pretrained by a curriculum of pretext tasks outperforms models pretrained by individual pretext tasks, and ii) a model pretrained by the optimal pretext task curriculum outperforms a model pretrained on ImageNet. We demonstrate that this performance gain is related to the fact that the curriculum of pretext tasks better focuses the attention of the final model on the skin lesion. Beyond performance improvement, this strategy allows for a large reduction in the training time with respect to ImageNet pretraining, which is especially advantageous for network architectures tailored for a specific problem.

研究动机与目标

• 为解决在 ISIC-2019 等小规模、专业医学影像数据集上深度学习模型性能受限的问题，因标注数据不足。
• 通过仅在目标域数据上进行自监督预训练，克服 ImageNet 与皮肤镜图像之间的领域差距。
• 通过设计最优的自监督掩码任务课程，提升模型泛化能力并聚焦注意力于皮肤病变区域。
• 与 ImageNet 预训练相比，降低计算成本，尤其适用于自定义或任务特定的网络架构。
• 探究掩码任务排序对下游性能及表征相似性的影响。

提出的方法

• 该方法采用一系列自监督掩码任务——旋转预测（ODC）、相对位置预测和对比学习（MoCo v2），按课程顺序进行训练。
• 基于各掩码任务在下游分类任务中的准确率，建立课程排序策略，优先选择性能更高的任务。
• 在无标签的 ISIC-2019 数据集上，使用此序列化的掩码任务流水线进行模型预训练，随后在有标签分类任务上进行微调。
• 利用中心核对齐（CKA）分析不同掩码任务之间的表征相似性，以评估特征空间对齐程度，并指导课程设计。
• 该方法避免依赖 ImageNet，仅利用无标签皮肤镜图像进行预训练。
• 定性分析采用类别激活图（CAMs）评估模型对皮肤病变及其边界区域的注意力聚焦程度。

实验结果

研究问题

• RQ1 与单一掩码任务相比，自监督掩码任务课程是否能提升皮肤病变分类准确率？
• RQ2 在目标域数据上进行的自监督课程学习，是否能超越 ImageNet 监督预训练在皮肤病变识别中的表现？
• RQ3 掩码任务的顺序如何影响最终模型的性能和注意力聚焦？
• RQ4 不同掩码任务学习到的表征在多大程度上对齐？这种对齐程度如何影响课程结果？
• RQ5 如 CKA 等表征相似性度量能否指导最优掩码任务课程的自动构建？

主要发现

• 使用优化序列掩码任务预训练的模型在 ISIC-2019 数据集上达到 72.8% 的 top-1 准确率，优于 ImageNet 预训练基线模型。
• 最优课程优于仅使用单一掩码任务预训练的模型，证明了顺序化、有组织预训练的优势。
• 基于课程的方法提升了对皮肤病变区域的注意力聚焦，类激活图结果证实病变区域激活更强。
• 与 ImageNet 预训练相比，使用所提课程在 ISIC-2019 数据集上进行预训练显著缩短了训练时间，尤其对自定义架构更为明显。
• CKA 分析显示，ODC 与 MoCo v2 产生高度相似的表征，而相对位置特征则差异较大，解释了不同课程序列中的性能差异。
• 完整课程（全部三个任务）优于混合顺序和反向课程顺序，尽管并非始终最优——表明表征相似性和任务顺序比任务数量本身更具决定性。