[论文解读] Vision Transformer with Convolutions Architecture Search

Haichao Zhang, Kuangrong Hao+4 more|arXiv (Cornell University)|Mar 20, 2022

CCD and CMOS Imaging Sensors被引用 5

一句话总结

该论文提出了一种名为带有卷积的视觉变换器架构搜索（VTCAS）的神经架构搜索方法，通过将卷积的归纳偏置整合到视觉变换器中，以增强特征学习能力。通过联合优化多头注意力与卷积操作，VTCAS 发现了一种混合主干网络，在 ImageNet-1K 上达到 82.0% 的 top-1 准确率，在 COCO2017 上达到 50.4% 的 mAP，展示了在低光照和复杂视觉任务中的更强鲁棒性。

ABSTRACT

Transformers exhibit great advantages in handling computer vision tasks. They model image classification tasks by utilizing a multi-head attention mechanism to process a series of patches consisting of split images. However, for complex tasks, Transformer in computer vision not only requires inheriting a bit of dynamic attention and global context, but also needs to introduce features concerning noise reduction, shifting, and scaling invariance of objects. Therefore, here we take a step forward to study the structural characteristics of Transformer and convolution and propose an architecture search method-Vision Transformer with Convolutions Architecture Search (VTCAS). The high-performance backbone network searched by VTCAS introduces the desirable features of convolutional neural networks into the Transformer architecture while maintaining the benefits of the multi-head attention mechanism. The searched block-based backbone network can extract feature maps at different scales. These features are compatible with a wider range of visual tasks, such as image classification (32 M parameters, 82.0% Top-1 accuracy on ImageNet-1K) and object detection (50.4% mAP on COCO2017). The proposed topology based on the multi-head attention mechanism and CNN adaptively associates relational features of pixels with multi-scale features of objects. It enhances the robustness of the neural network for object recognition, especially in the low illumination indoor scene.

研究动机与目标

• 为解决纯视觉变换器在处理需要对噪声、缩放和位移保持不变性的复杂视觉任务时的局限性。
• 将卷积神经网络（CNN）的归纳偏置整合到变换器架构中，以改善特征表示能力。
• 开发一种可微分的架构搜索框架，联合优化注意力与卷积操作。
• 设计一种适用于图像分类和目标检测等多样化视觉任务的多尺度特征提取主干网络。
• 提升模型在挑战性条件下的鲁棒性，特别是低照度室内场景。

提出的方法

• 提出一种可微分的架构搜索空间，将多头自注意力与深度可分离卷积结合在基于模块的搜索范式中。
• 引入一个搜索控制器，通过平衡注意力与卷积操作来学习采样最优架构。
• 采用多尺度特征提取策略，使所搜索到的模块在不同感受野下处理特征。
• 在 ImageNet-1K 上采用代理训练策略，以高效评估搜索过程中的候选架构。
• 对架构采样过程实施可微分松弛，以支持通过离散架构选择进行端到端反向传播。
• 设计一种混合主干网络，既保留变换器的全局建模能力，又融合了 CNN 的局部归纳偏置。

实验结果

研究问题

• RQ1 将卷积的归纳偏置与多头注意力机制结合，能否提升在复杂视觉任务上的性能？
• RQ2 如何在统一的搜索空间中，使神经架构搜索框架有效平衡注意力与卷积操作？
• RQ3 何种架构设计能提升在低光照和杂乱室内环境中的鲁棒性？
• RQ4 所搜索到的混合架构在图像分类与目标检测等多样化视觉任务上的泛化能力达到何种程度？
• RQ5 多尺度特征学习的整合能否提升视觉变换器的表征质量？

主要发现

• VTCAS 所识别的主干网络在仅使用 3200 万参数的情况下，于 ImageNet-1K 上达到 82.0% 的 top-1 准确率，优于许多现有的视觉变换器模型。
• 在 COCO2017 目标检测基准上，所搜索模型达到 50.4% 的 mAP，表明其在密集预测任务中具有强大的泛化能力。
• 该混合架构在低照度室内场景中表现出更优的鲁棒性，表明其对光照变化具有更强的不变性。
• 卷积操作的引入增强了对尺度与平移不变性的特征学习能力，同时未牺牲全局上下文建模性能。
• 搜索过程成功识别出一种基于模块的架构，有效平衡了局部与全局特征提取，从而在多样化任务中提升了性能。
• 所提出的方法通过代理训练策略实现了高效的架构搜索，在降低计算成本的同时保持了高准确率。