[论文解读] Deep neural network ensemble by data augmentation and bagging for skin lesion classification

Manik Goyal, Jagath C. Rajapakse|arXiv (Cornell University)|Jul 15, 2018

Cutaneous Melanoma Detection and Management参考文献 5被引用 7

一句话总结

本文提出了一种新颖的深度神经网络集成框架 DABEA，通过结合数据增强与袋装法，并引入 $1\times1$ 卷积元学习器，以提升皮肤病变分类性能。通过在增强数据上训练 Inception-v4 和 Inception-ResNet-v2 模型，应用袋装法生成多样化预测，并利用可学习的 $1\times1$ 卷积层进行融合，该方法在 ISIC 2018 验证集上实现了 0.837 的平衡准确率，优于未归一化和混合模型配置。

ABSTRACT

This work summarizes our submission for the Task 3: Disease Classification of ISIC 2018 challenge in Skin Lesion Analysis Towards Melanoma Detection. We use a novel deep neural network (DNN) ensemble architecture introduced by us that can effectively classify skin lesions by using data-augmentation and bagging to address paucity of data and prevent over-fitting. The ensemble is composed of two DNN architectures: Inception-v4 and Inception-Resnet-v2. The DNN architectures are combined in to an ensemble by using a $1 imes1$ convolution for fusion in a meta-learning layer.

研究动机与目标

• 解决深度神经网络在皮肤病变分类中因数据稀缺和过拟合带来的问题。
• 通过有效结合多个深度学习模型，提升在 ISIC 2018 挑战赛中的分类性能。
• 开发一种新颖的集成架构，利用数据增强与袋装法提升模型鲁棒性与泛化能力。
• 引入可学习的 $1\times1$ 卷积层作为元学习器，用于融合多个基模型的预测结果。

提出的方法

• 该框架采用两种预训练的 CNN 架构：Inception-v4 和 Inception-ResNet-v2，均在 ISIC 2018 数据集上进行微调。
• 通过减去每张图像的像素均值对输入图像进行归一化，以减少数据偏差。
• 通过随机裁剪、亮度/饱和度调整以及水平翻转等方式应用数据增强，以提升训练多样性。
• 袋装法通过从每张图像的 10 种增强版本中，随机采样 100 个输出向量来实现，每个模型的预测结果均如此处理。
• 将两个模型的袋装输出拼接成形状为 $N \times 7 \times 100 \times 2$ 的三维张量以进行融合。
• 通过 $1\times1$ 卷积层执行特征级融合，利用池化操作学习结合两个模型的预测结果。

实验结果

研究问题

• RQ1 在训练数据有限的情况下，数据增强与袋装法是否能提升皮肤病变分类的泛化能力？
• RQ2 作为元学习器，$1\times1$ 卷积层在融合多个深度神经网络预测结果方面有多高效？
• RQ3 将归一化与未归一化模型输出相结合，是否能超越单一或单归一化配置的性能表现？
• RQ4 不同池化策略（最大池化、平均池化、极端概率池化）对集成预测的稳定性和准确率有何影响？

主要发现

• 当 Inception-v4 和 Inception-ResNet-v2 模型均使用归一化输入时，$1\times1$ 卷积元学习器实现了最高的平衡准确率（0.837）。
• 归一化模型集成配置优于未归一化配置（平衡准确率 0.729）和混合归一化设置（平衡准确率 0.732）。
• 由于在各项实验中表现一致，平均池化被选为最终测试提交的池化策略。
• 数据增强与袋装法的使用显著提升了模型鲁棒性，这从归一化与未归一化训练设置之间的性能差距中得到验证。
• 对 ImageNet 预训练模型在 ISIC 2018 数据上进行适当的归一化与数据增强微调，带来了显著的性能提升。
• 该集成框架展现出强大的泛化能力，在所评估的配置中于 ISIC 2018 验证集上取得了最先进水平的结果。