[论文解读] Attention mechanisms and deep learning for machine vision: A survey of the state of the art

Abdul Mueed Hafiz, Shabir A. Parah+1 more|arXiv (Cornell University)|Jun 3, 2021

Advanced Neural Network Applications被引用 5

一句话总结

本综述全面概述了注意力机制与深度学习在机器视觉中的应用，重点关注视觉变换器（ViTs）及其与卷积神经网络（CNNs）的混合架构。文章分析了自注意力、掩码注意力和多头注意力机制，评估了ViT在图像分类、目标检测等任务中的性能表现，并指出了数据需求量大和计算成本高等关键挑战，同时提倡采用混合CNN-ViT架构以在效率与精度之间取得平衡。

ABSTRACT

With the advent of state of the art nature-inspired pure attention based models i.e. transformers, and their success in natural language processing (NLP), their extension to machine vision (MV) tasks was inevitable and much felt. Subsequently, vision transformers (ViTs) were introduced which are giving quite a challenge to the established deep learning based machine vision techniques. However, pure attention based models/architectures like transformers require huge data, large training times and large computational resources. Some recent works suggest that combinations of these two varied fields can prove to build systems which have the advantages of both these fields. Accordingly, this state of the art survey paper is introduced which hopefully will help readers get useful information about this interesting and potential research area. A gentle introduction to attention mechanisms is given, followed by a discussion of the popular attention based deep architectures. Subsequently, the major categories of the intersection of attention mechanisms and deep learning for machine vision (MV) based are discussed. Afterwards, the major algorithms, issues and trends within the scope of the paper are discussed.

研究动机与目标

• 系统性回顾注意力机制及其在机器视觉深度学习中的集成应用。
• 分析视觉变换器（ViTs）相较于传统基于CNN的模型在性能与局限性方面的优劣。
• 探索结合CNN与变换器的混合架构，以充分发挥两种方法的优势。
• 识别视觉变换器在数据效率、训练时间及计算资源需求方面存在的开放性研究挑战。
• 为研究人员和实践者提供指导，以更有效地在机器视觉应用中使用基于注意力的模型。

提出的方法

• 调研110余篇研究论文，分析注意力机制及其在机器视觉深度学习中的应用。
• 引入自注意力机制，通过查询、键和值计算序列中所有元素之间的相关性得分。
• 解释掩码自注意力机制，通过三角形掩码矩阵防止自回归建模中的信息泄露。
• 描述多头注意力机制，通过并行应用多个注意力头来建模多样化的依赖关系。
• 回顾三类主要的混合模型：注意力增强型CNN（如CBAM）、CNN教师/变换器学生流水线，以及端到端的CNN-Transformer架构。
• 评估神经架构搜索（NAS）在优化混合CNN-Transformer搜索空间中的作用，尽管其计算成本较高。

实验结果

研究问题

• RQ1 与CNN中的局部感受野相比，自注意力机制如何在视觉变换器中实现全局特征建模？
• RQ2 在机器视觉任务中，纯视觉变换器与基于CNN的模型在性能与效率方面存在哪些关键权衡？
• RQ3 结合CNN与变换器的混合架构在提升性能的同时，如何减少数据与计算资源需求？
• RQ4 训练视觉变换器的主要开放挑战有哪些，例如数据饥渴与长训练时间？
• RQ5 如何有效将注意力机制集成到现有深度学习流水线中，以优化机器视觉系统设计？

主要发现

• 视觉变换器（ViTs）在图像分类、目标检测、语义分割和视频理解等任务中的性能与CNN相当或更优。
• ViTs对数据需求量极大，需在JFT-300M等大规模数据集上进行预训练，再在ImageNet-1K上微调，方能取得优异结果。
• 尽管性能优越，ViTs仍需显著更长的训练时间与高计算资源，使其在资源受限环境中实用性较低。
• 将注意力机制集成到CNN中的混合模型（如CBAM）在计算开销极小的情况下实现性能提升，显示出显著的渐进改进潜力。
• 采用CNN作为特征提取器、变换器作为分类器的两阶段流水线，其性能高度依赖于CNN特征表示的质量，凸显主干网络设计的重要性。
• 通过NAS构建的端到端CNN-Transformer混合架构前景广阔，但计算成本仍高，需进一步优化以实现更广泛部署。