[论文解读] A Comprehensive Study of Vision Transformers in Image Classification Tasks

Mahmoud I. Khalil, Khalil Ahmad+1 more|arXiv (Cornell University)|Dec 2, 2023

Machine Learning and Data Classification被引用 7

一句话总结

本文对视觉变换器（ViTs）在图像分类中的应用进行了全面综述，追溯了其从早期自注意力机制的改进到当前最先进模型（如ViT、Swin Transformer、DeiT和iGPT）的演进历程。在ImageNet、CIFAR-10和Flowers等基准测试中评估了其性能，显示ViT-Base/16在ImageNet上达到77.99%的top-1准确率，Swin-L在ImageNet-Real上达到87.32%，同时指出了在效率、评估一致性以及泛化能力方面存在的关键挑战。

ABSTRACT

Image Classification is a fundamental task in the field of computer vision that frequently serves as a benchmark for gauging advancements in Computer Vision. Over the past few years, significant progress has been made in image classification due to the emergence of deep learning. However, challenges still exist, such as modeling fine-grained visual information, high computation costs, the parallelism of the model, and inconsistent evaluation protocols across datasets. In this paper, we conduct a comprehensive survey of existing papers on Vision Transformers for image classification. We first introduce the popular image classification datasets that influenced the design of models. Then, we present Vision Transformers models in chronological order, starting with early attempts at adapting attention mechanism to vision tasks followed by the adoption of vision transformers, as they have demonstrated success in capturing intricate patterns and long-range dependencies within images. Finally, we discuss open problems and shed light on opportunities for image classification to facilitate new research ideas.

研究动机与目标

• 系统性回顾视觉变换器模型在图像分类中的应用，涵盖其架构演进及在不同数据集上的性能表现。
• 分析注意力机制与自注意力机制在视觉表征学习中替代卷积操作的影响。
• 比较主流ViT模型在ImageNet、CIFAR-10、CIFAR-100和Flowers等标准基准测试中的准确率与效率。
• 识别评估协议、计算成本以及模型在不同数据集间泛化能力方面的持续性挑战。
• 突出显示新兴趋势，如多模态预训练（例如CLIP、iGPT）以及提升效率的技术（例如ToMe、Hiera）在ViTs中的应用。

提出的方法

• 通过调研100余篇关于视觉变换器的论文，本研究按时间顺序组织模型，从早期自注意力应用到现代ViT变体。
• 将模型分为三类趋势：(1) 纯ViT变体（如ViT、DeiT、CaiT）；(2) 层次化模型（如Swin Transformer）；(3) 多模态或高效变体（如iGPT、ToMe）。
• 使用标准指标进行模型基准测试：在ImageNet和ImageNet-Real上的top-1准确率，多标签任务的mAP，以及在CIFAR和Flowers数据集上的准确率。
• 在一致的评估协议下评估模型：数据增强（随机裁剪、翻转、颜色抖动）、随机采样，并遵循标准评估流程。
• 通过在多个数据集上报告的结果，对比模型的准确率与效率，包括ResNet基线模型以及不同深度和patch大小的ViT变体。
• 分析CaiT和DeiT等模型中patch嵌入、分类标记、位置编码以及交叉注意力机制等架构创新。

实验结果

研究问题

• RQ1 视觉变换器架构如何从早期自注意力应用演进为当前图像分类中的最先进模型？
• RQ2 在ImageNet和CIFAR等标准基准测试中，视觉变换器与卷积神经网络（如ResNet）相比，性能表现如何？
• RQ3 多模态预训练方法（如iGPT、CLIP）在无需微调的情况下，能在多大程度上提升图像分类的零样本泛化能力？
• RQ4 像ToMe和Hiera这样的高效方法如何在不微调ViT模型的前提下，提升推理速度和吞吐量？
• RQ5 在评估一致性、计算成本以及建模视觉细节的精细程度方面，ViT模型仍面临哪些持续性挑战？

主要发现

• ViT-Base/16在ImageNet上达到77.99%的top-1准确率，在ImageNet-Real上达到88.10%，展现出在极少归纳偏差下仍具备强大性能。
• Swin-L在ImageNet-Real上达到87.32%的top-1准确率，优于ViT-Base/16，凸显了层次化局部注意力机制的优势。
• DeiT-Base在384×384输入分辨率下于ImageNet上达到84.90%的top-1准确率，表明输入分辨率增大可显著提升性能。
• iGPT-L在CIFAR-10上达到89.0%的准确率，在CIFAR-100上达到88.51%，表明其在图像生成预训练下仍具备强大性能。
• EfficientNet-B7在ImageNet上达到84.30%的top-1准确率，在ImageNet-Real上达到89.20%，可作为对比的强卷积神经网络基线。
• Swin-T、Swin-S和Swin-B模型随着深度和宽度的增加表现出一致的性能提升，其中Swin-B在ImageNet上达到84.52%，在ImageNet-Real上达到89.00%。