[论文解读] Residual Network based Aggregation Model for Skin Lesion Classification

Yongsheng Pan, Yong Xia|arXiv (Cornell University)|Jul 24, 2018

Cutaneous Melanoma Detection and Management参考文献 13被引用 6

一句话总结

本文提出了一种基于残差网络的聚合模型，通过结合微调后的ResNet特征与Fisher向量编码，实现了更优的皮肤病变分类。通过利用微调后的ResNet-50/101/152提取多尺度特征，并通过FV进行聚合，该方法在ISIC2018挑战赛验证集上实现了90.4%的平衡准确率，优于非微调和基线方法。

ABSTRACT

We recognize that the skin lesion diagnosis is an essential and challenging sub-task in Image classification, in which the Fisher vector (FV) encoding algorithm and deep convolutional neural network (DCNN) are two of the most successful techniques. Since the joint use of FV and DCNN has demonstrated proven success, the joint techniques could have discriminatory power on skin lesion diagnosis as well. To this hypothesis, we propose the aggregation algorithm for skin lesion diagnosis that utilize the residual network to extract the local features and the Fisher vector method to aggregate the local features to image-level representation. We applied our algorithm on the International Skin Imaging Collaboration 2018 (ISIC2018) challenge and only focus on the third task, i.e., the disease classification.

研究动机与目标

• 在小样本且类别不平衡的数据集面前，提升皮肤病变分类的性能。
• 解决刚性深度卷积神经网络架构在处理皮肤病变形状、大小和杂乱度变化方面的局限性。
• 通过结合深度特征与Fisher向量编码的统计聚合方法，增强特征表示能力。
• 验证在医学图像分类任务中，对预训练ResNet进行微调后再进行FV编码的有效性。
• 在ISIC2018皮肤病变分类挑战赛中，特别是在任务3（疾病分类）上，实现最先进性能。

提出的方法

• 在ISIC2018训练集上对ResNet-50/101/152进行15个周期的微调，采用随机裁剪和缩放至224×224的数据增强方法。
• 从微调后的ResNets的'res5c_branch2a'层提取局部描述子，生成512维特征。
• 应用Fisher向量编码，利用64个分量的高斯混合模型，将局部描述子聚合为全局图像级表征。
• 在Fisher向量嵌入上训练线性SVM分类器，完成最终的疾病分类。
• 在FV编码前，通过多尺度图像缩放（缩放因子为2^s，s = -3至1）提取多样化的感受野响应。
• 通过在统一框架中联合优化特征提取、词袋学习与分类，实现端到端的流程优化。

实验结果

研究问题

• RQ1 结合微调后的残差网络与Fisher向量编码，是否能超越标准DCNN，在皮肤病变分类中实现性能提升？
• RQ2 当与预训练并微调后的ResNet提取的深度特征结合时，通过Fisher向量编码进行特征聚合，是否能增强判别能力？
• RQ3 对ResNet主干网络进行微调，如何影响基于FV的聚合在医学图像分类中的性能表现？
• RQ4 在类别不平衡的皮肤病变数据集中，特征提取质量与聚合策略的相对贡献分别是什么？
• RQ5 所提出的方法是否能在ISIC2018挑战赛中实现皮肤病变疾病分类的最先进性能？

主要发现

• 使用微调后的ResNet-50与Fisher向量编码的方法在ISIC2018验证集上实现了最高的平衡准确率90.4%。
• 对ResNet主干网络进行微调显著提升了性能，ResNet-50的准确率从非微调的78.5%提升至90.4%。
• 使用微调特征的ResNet-101实现了88.4%的平衡准确率，优于非微调（74.9%）和非优化变体。
• 所提方法优于仅使用预训练ResNet特征或非微调模型的基线方法，证明了微调在特征学习中的价值。
• 多尺度输入缩放与FV编码的结合增强了特征多样性与鲁棒性，有助于提升泛化能力。
• 结果表明，FV聚合能有效捕捉来自深度特征的判别性模式，尤其当特征提取器在目标数据集上进行微调时效果更佳。