[论文解读] An evaluation of pre-trained models for feature extraction in image classification

Erick da Silva Puls, Matheus Vinícius Todescato+1 more|arXiv (Cornell University)|Oct 3, 2023

COVID-19 diagnosis using AI被引用 8

一句话总结

该论文系统地将16个预训练模型作为特征提取器，在四个图像数据集上进行评估，发现基于 transformer 的模型（特别是 CLIP-ViT-B、CLIP-ResNet50 和 VisionTransformer-H/14）通常优于仅CNN的体系结构。

ABSTRACT

In recent years, we have witnessed a considerable increase in performance in image classification tasks. This performance improvement is mainly due to the adoption of deep learning techniques. Generally, deep learning techniques demand a large set of annotated data, making it a challenge when applying it to small datasets. In this scenario, transfer learning strategies have become a promising alternative to overcome these issues. This work aims to compare the performance of different pre-trained neural networks for feature extraction in image classification tasks. We evaluated 16 different pre-trained models in four image datasets. Our results demonstrate that the best general performance along the datasets was achieved by CLIP-ViT-B and ViT-H-14, where the CLIP-ResNet50 model had similar performance but with less variability. Therefore, our study provides evidence supporting the choice of models for feature extraction in image classification tasks.

研究动机与目标

• 在标注数据有限时，推动图像分类的迁移学习。
• 在不同数据集上将多种预训练模型作为固定特征提取器进行比较。
• 确定哪些架构（CNN 与基于 transformer 的模型）在特征提取任务中具有最佳泛化性能。
• 为图像分类任务中的特征提取模型选择提供指南。

提出的方法

• 冻结预训练的骨干网络，并将最终分类层替换为适应数据集类别数量的新输出层。
• 应用一致的预处理（缩放、中心裁剪、RGB 转换），并使用5折交叉验证进行训练。
• 以学习率 0.001、动量 0.9、Adam 优化器、交叉熵损失训练，最多100个epoch并带早停。
• 使用在各折中的准确率、宏F1、加权F1进行评估。

Figure 1: Illustration of the imbalance in the number of images for each class on the Geological Images dataset [ 9 ] .

实验结果

研究问题

• RQ1 当用作固定特征提取器时，哪些预训练模型在所选数据集上能够获得最佳准确率和F1指标？
• RQ2 CNN 基础架构与 transformer 基础架构在特征提取性能与变异性上有何差异？
• RQ3 某些数据集（例如类别更多或图像大小异质性更大）是否会影响不同预训练模型的相对有效性？
• RQ4 在跨数据集和指标的模型间性能相关性中，出现了哪些模式？

主要发现

• 基于 transformer 的模型（CLIP-ViT-B、CLIP-ResNet50、VisionTransformer-H/14）在所有数据集上通常优于 CNN 模型。
• 在 Geologic al Images 数据集上，CLIP-ViT-B 取得最高准确率，并在宏平均和加权指标上接近最高分。
• 在 CIFAR-10 上，ViT-H/14 达到最高准确率（约 0.98），CLIP-ViT-B 和 ConvNeXt-L 也表现强劲。
• 在 STL10 上，ViT-H/14 和 ConvNeXt-L 达到顶级准确率（约1.00 和约0.99，分别）。
• 仅 CNN 的架构表现较弱且变动性较大，AlexNet 在所有数据集上均表现不佳。
• 相关性分析显示 CNN 基模型彼此之间相似度较高，而 transformer-based 模型（CLIP 变体和 Vision Transformer）形成独立的性能组。

Figure 2: Examples of images included in the Geological Images dataset [ 9 ] .