[论文解读] Identifying Melanoma Images using EfficientNet Ensemble: Winning Solution to the SIIM-ISIC Melanoma Classification Challenge

Qishen Ha, Бо Лю+1 more|arXiv (Cornell University)|Oct 11, 2020

AI in cancer detection参考文献 5被引用 46

一句话总结

本文提出了一个由多样化CNN模型（大多为 EfficientNets）组成的获奖集成，结合图像和元数据输入，采用稳定的验证方案和面向目标的标注，在 SIIM-ISIC 黑色素瘤分类挑战中实现了最高 AUC。

ABSTRACT

We present our winning solution to the SIIM-ISIC Melanoma Classification Challenge. It is an ensemble of convolutions neural network (CNN) models with different backbones and input sizes, most of which are image-only models while a few of them used image-level and patient-level metadata. The keys to our winning are: (1) stable validation scheme (2) good choice of model target (3) carefully tuned pipeline and (4) ensembling with very diverse models. The winning submission scored 0.9600 AUC on cross validation and 0.9490 AUC on private leaderboard.

研究动机与目标

• 通过利用多年度数据，在皮肤图像的黑色素瘤分类上处理正样本有限的问题。
• 开发一种稳定的验证策略，以在不平衡数据集中可靠地估计模型性能。
• 探索有无元数据的模型架构，以提升集成多样性和性能。
• 演示一个多种骨干网络和输入尺寸的集成，以最大化交叉验证和私有排行榜的 AUC。

提出的方法

• 用多种骨干网络训练多个CNN模型（EfficientNet B3–B7, SE-ResNeXt-101, ResNeSt-101）。
• 使用一个由 2019 诊断映射到 2020 目标的 9 类目标，MEL 作为最终对 AUC 的预测。
• 在某些模型中加入 14 个元数据特征（人口统计、解剖部位、图像大小、n_images），在融合前有两层全连接层。
• 应用广泛的图像增强（Albumentations）和带热重启的余弦退火训练，训练共 15 个 epoch。
• 用一个覆盖 2018–2020 数据的综合数据集的 5 折 CV（cv_all）来评估模型，并跟踪 cv_2020 进行 sanity check。
• 通过将概率转换为均匀分数后再求平均，创建一个对 18 个模型的简单平均集成。

实验结果

研究问题

• RQ1 多样化的 CNN 架构集合是否能在 SIIM-ISIC 黑色素瘤分类上实现比单模型方法更高的 AUC？
• RQ2 在图像数据之外加入元数据是否能提高黑色素瘤分类性能和集成多样性？
• RQ3 多年度组合验证策略是否能为不平衡的医学影像数据提供更稳定、可靠的性能估计？

主要发现

• 18 模型集成在 cv_all 上达到 0.9845，在 cv_2020 上为 0.9600，私有 LB 为 0.9490，公开 LB 为 0.9442。
• 骨干网络、输入尺寸和元数据使用的多样性提升了集成的鲁棒性。
• 图像单模模型普遍优于仅元数据模型，但元数据模型增加了有价值的多样性。
• 使用 2018–2020 的联合训练集并基于 cv_all 的验证，得到比仅依赖 2020 年数据更稳定的 AUC 估计。