[论文解读] Efficiency 360: Efficient Vision Transformers

Badri N. Patro, Vijay Srinivas Agneeswaran|arXiv (Cornell University)|Feb 16, 2023

Domain Adaptation and Few-Shot Learning被引用 4

一句话总结

本文提出了 Efficiency 360 框架，这是一种全面优化视觉变换器（Vision Transformers）以适应工业应用的综合方法，涵盖内存效率、计算成本、准确性、鲁棒性、公平性、隐私性、透明度和包容性等多个方面。该研究在 ImageNet-1K、CIFAR 和 Oxford 数据集上对 20 多个视觉变换器模型进行了基准测试，评估其参数量、浮点运算量（FLOPs）和性能表现，结果表明：更大的模型（如 ViT-H、CvT-24）以及在 ImageNet-22K 上预训练的模型在迁移学习中表现更优；然而，在长序列基准测试（如 LRA）中，视觉变换器在长上下文场景下面临显著挑战。

ABSTRACT

Transformers are widely used for solving tasks in natural language processing, computer vision, speech, and music domains. In this paper, we talk about the efficiency of transformers in terms of memory (the number of parameters), computation cost (number of floating points operations), and performance of models, including accuracy, the robustness of the model, and fair \& bias-free features. We mainly discuss the vision transformer for the image classification task. Our contribution is to introduce an efficient 360 framework, which includes various aspects of the vision transformer, to make it more efficient for industrial applications. By considering those applications, we categorize them into multiple dimensions such as privacy, robustness, transparency, fairness, inclusiveness, continual learning, probabilistic models, approximation, computational complexity, and spectral complexity. We compare various vision transformer models based on their performance, the number of parameters, and the number of floating point operations (FLOPs) on multiple datasets.

研究动机与目标

• 开发一个统一的评估框架，用于在准确率和 FLOPs 之外的多个工业效率维度上评估视觉变换器。
• 在标准视觉数据集（ImageNet-1K、CIFAR、Oxford）上对最先进的视觉变换器模型进行基准测试，评估其参数量、FLOPs 和性能表现。
• 研究模型规模和预训练数据（ImageNet-1K 与 ImageNet-22K）对迁移学习性能的影响。
• 在 Long Range Arena (LRA) 基准上评估视觉变换器的表现，揭示其在长上下文视觉任务中的局限性。
• 识别在公平性、隐私性、透明度以及高效变换器在多模态应用中的开放研究方向。

提出的方法

• 提出 Efficiency 360 框架，一种包含 10 个维度的 360 度评估体系：鲁棒性、隐私性、公平性、透明度、包容性、持续学习、概率建模、近似方法、计算复杂度和谱复杂度。
• 基于架构、注意力机制类型（全局/局部）、位置编码、网络结构（各向同性/金字塔结构）以及额外标签（如谱门控、池化操作）对 20 多个视觉变换器模型进行比较。
• 采用标准基准测试：ImageNet-1K 用于图像分类，CIFAR-10/100 用于小规模评估，Oxford-IIIT-Flowers/Pets 用于细粒度识别。
• 在 Long Range Arena (LRA) 基准上评估模型性能，该基准测试涵盖多种模态的长上下文推理能力，包括像素序列的视觉任务。
• 使用 Grad-CAM 实现模型可解释性，并对基于 DeiT 的推理过程进行注意力机制解释的可视化。
• 分析 ViT 和 CvT 模型在各层中的架构行为，以评估深度和图像块大小对性能的影响。

实验结果

研究问题

• RQ1 在标准视觉基准测试中，不同视觉变换器架构在参数量、FLOPs 和准确率方面的表现如何比较？
• RQ2 与 ImageNet-1K 相比，是否在 ImageNet-22K 上预训练能始终提升迁移学习性能？这种差异是源于数据规模还是模型容量？
• RQ3 视觉变换器在长序列视觉任务中的泛化能力如何？这通过 Long Range Arena (LRA) 基准测试进行评估。
• RQ4 当前视觉变换器在处理长序列时存在哪些主要低效问题？与 NLP 领域优化的高效变换器相比表现如何？
• RQ5 Efficiency 360 框架如何指导未来视觉变换器在公平性、隐私性和透明度方面的设计改进？

主要发现

• 更大的视觉变换器变体（如 ViT-H、CvT-24）在 ImageNet-1K 和细粒度数据集上优于较小的模型（如 ViT-Base、CvT-13），表明模型规模的提升可增强性能。
• 使用 16-patch 大小的 ViT-H 在 ImageNet-1K 上的准确率优于 ViT-Base 和 ViT-Large，表明最优的图像块大小对性能具有重要影响。
• CvT-24 在性能上优于 CvT-13 和 CvT-21，进一步验证了模型容量越大、性能越优的趋势。
• 在 ImageNet-22K 上预训练并未始终优于 ImageNet-1K，其原因尚不明确，可能与模型架构或数据分布差异有关。
• 视觉变换器在 Long Range Arena (LRA) 基准测试中表现较差，尤其在 Path-X 和图像序列分类等视觉任务中，表明其长距离建模能力有限。
• 近期的视觉变换器（如 Swin、CSwin、RegionViT）尚未在 LRA 基准上进行评估，凸显了在长上下文视觉推理领域存在研究空白。