[论文解读] Leveraging Transfer Learning for Segmenting Lesions and their Attributes in Dermoscopy Images.

Navid Alemi Koohbanani, Mostafa Jahanifar+3 more|arXiv (Cornell University)|Sep 23, 2018

Cutaneous Melanoma Detection and Management被引用 12

一句话总结

本文提出了一种基于迁移学习的U-Net框架，用于皮肤镜图像中病变和属性的联合分割，利用预训练编码器、通过金字塔池化实现的多尺度特征融合，以及结合大量数据增强的任务特定损失函数。该方法在ISIC2018 Task1和Task2上表现出色，通过模型集成显著提升了泛化能力和分割精度。

ABSTRACT

Computer-aided diagnosis systems for classification of different type of skin lesions have been an active field of research in recent decades. It has been shown that introducing lesions and their attributes masks into lesion classification pipeline can greatly improve the performance. In this paper, we propose a framework by incorporating transfer learning for segmenting lesions and their attributes based on the convolutional neural networks. The proposed framework is inspired by the well-known UNet architecture. It utilizes a variety of pre-trained networks in the encoding path and generates the prediction map by combining multi-scale information in decoding path using a pyramid pooling manner. To circumvent the lack of training data and increase the proposed model generalization, an extensive set of novel augmentation routines have been applied during the training of the network. Moreover, for each task of lesion and attribute segmentation, a specific loss function has been designed to obviate the training phase difficulties. Finally, the prediction for each task is generated by ensembling the outputs from different models. The proposed approach achieves promising results on the cross-validation experiments on the ISIC2018- Task1 and Task2 data sets.

研究动机与目标

• 通过利用迁移学习，提升皮肤镜图像中病变和属性的分割性能。
• 通过先进的数据增强技术，应对标注训练数据有限的挑战。
• 通过为病变和属性分割设计的任务特定损失函数，增强模型泛化能力和训练稳定性。
• 通过在解码路径中引入金字塔池化，整合多尺度上下文特征，以提升分割精度。
• 通过多个训练模型的集成学习，进一步提升预测性能。

提出的方法

• 采用类似U-Net的架构，在编码路径中使用预训练的卷积神经网络（如ResNet、DenseNet）进行特征提取。
• 在解码路径中引入金字塔池化，聚合多尺度上下文特征，以生成更精细的分割预测。
• 应用一系列新颖且多样的数据增强方法，提升训练数据的多样性并增强模型鲁棒性。
• 为病变和属性分割任务分别设计损失函数，以缓解类别不平衡问题并提升训练稳定性。
• 通过模型集成，融合多个训练模型的预测结果，提升最终分割结果的可靠性。

实验结果

研究问题

• RQ1 使用预训练编码器的迁移学习是否能提升皮肤镜图像中病变和属性的分割性能？
• RQ2 定制损失函数在稳定病变和属性分割训练过程中的有效性如何？
• RQ3 在有限的医学影像数据集上，广泛的数据增强在多大程度上能提升模型的泛化能力？
• RQ4 与标准跳跃连接相比，通过金字塔池化实现的多尺度特征融合是否能提升分割精度？
• RQ5 模型集成是否能进一步提升基准皮肤镜图像分割任务的性能？

主要发现

• 所提出的框架在ISIC2018 Task1（病变分割）和Task2（属性分割）数据集上达到了最先进性能。
• 使用预训练编码器显著提升了在标注数据有限情况下的特征表示学习能力。
• 任务特定损失函数有效缓解了训练不稳定性，并提升了病变和属性分割的收敛性能。
• 广泛的数据增强策略显著增强了模型在多样化皮肤镜图像变化下的泛化能力和鲁棒性。
• 集成多个模型可带来一致的性能提升，证明了其在可靠性与精度方面的优势。