[论文解读] A Deep Multi-task Learning Approach to Skin Lesion Classification

Haofu Liao, Jiebo Luo|arXiv (Cornell University)|Dec 9, 2018

Cutaneous Melanoma Detection and Management参考文献 28被引用 3

一句话总结

本论文提出了一种基于ResNet-50主干网络并结合专用损失函数的深度多任务学习框架，通过联合优化皮肤病变分类与身体部位分类，利用皮肤病变的解剖分布模式作为归纳偏置，实现了0.80的平均平均精度（mAP），在通用皮肤病变分类任务中优于单任务基线模型，同时提升了病变分类与身体部位分类的性能。

ABSTRACT

Skin lesion identification is a key step toward dermatological diagnosis. When describing a skin lesion, it is very important to note its body site distribution as many skin diseases commonly affect particular parts of the body. To exploit the correlation between skin lesions and their body site distributions, in this study, we investigate the possibility of improving skin lesion classification using the additional context information provided by body location. Specifically, we build a deep multi-task learning (MTL) framework to jointly optimize skin lesion classification and body location classification (the latter is used as an inductive bias). Our MTL framework uses the state-of-the-art ImageNet pretrained model with specialized loss functions for the two related tasks. Our experiments show that the proposed MTL based method performs more robustly than its standalone (single-task) counterpart.

研究动机与目标

• 解决使用传统手工设计特征难以实现的跨多种病变类型的通用皮肤病变分类挑战。
• 探究将身体部位分布作为辅助任务是否能提升皮肤病变分类性能。
• 开发一种基于共享卷积神经网络主干网络的深度学习框架，联合学习病变类型与解剖位置。
• 从DermQuest数据集中构建一个大规模、公开可用的皮肤病变数据集（21,657张图像），用于训练与评估。
• 通过图像检索与注意力可视化，评估模型的泛化能力与可解释性。

提出的方法

• 该方法基于在皮肤病变与身体部位分类任务上微调过的预训练ResNet-50模型，采用深度多任务学习框架。
• 为主任务（皮肤病变分类）与辅助任务（身体部位分类）分别使用两个独立的全连接（FC）层，每个任务配备专用损失函数。
• 从最终池化层（pool5）提取特征表示用于图像检索，从最终卷积层（res5c）提取特征用于生成注意力图。
• 通过使用学习到的FC层权重对激活图进行加权平均，计算图像注意力，生成针对两个任务的类别特定注意力图。
• 通过融合多任务模型及其单任务对应模型，提升性能，达到最高的mAP。
• 模型采用端到端训练，联合优化目标促使共享特征学习，同时保持任务特定的表示能力。

实验结果

研究问题

• RQ1 联合学习皮肤病变分类与身体部位分类是否能提升通用皮肤病变分类的性能？
• RQ2 皮肤病变的解剖分布是否可作为有效的归纳偏置，通过多任务学习提升病变分类性能？
• RQ3 多任务模型在病变分类与身体部位分类任务上的性能相较于其单任务基线模型如何？
• RQ4 注意力图在多大程度上反映了皮肤科图像中病变区域与解剖区域的有意义定位？
• RQ5 利用多任务模型学习到的特征进行图像检索，能否检索到语义上相似的病变与身体部位？

主要发现

• 所提出的多任务学习模型在通用皮肤病变分类任务中实现了0.80的平均平均精度（mAP），优于单任务基线模型。
• 在多任务设置下，身体部位分类任务的性能也得到提升，其top-1与top-3准确率高于仅训练身体部位分类任务的模型。
• 图像检索结果表明，模型能够检索到视觉与语义上相似的图像，正确匹配的查询以绿色标示，错误匹配以红色标示。
• 注意力可视化结果表明，模型能有效聚焦于主任务的病变区域与辅助任务的解剖部位，但部分类别（如“alopecia”）显示出重叠的注意力图。
• 多任务模型与其单任务对应模型的集成实现了最高的mAP，表明二者存在互补的性能增益。
• 本研究证实，身体部位的易感性是一种有价值的归纳偏置，可增强皮肤病变分类中的特征学习与泛化能力。