[论文解读] Vision Transformer Architecture Search

Xiu Su, Shan You+7 more|arXiv (Cornell University)|Jun 25, 2021

Advanced Neural Network Applications被引用 10

一句话总结

该论文提出 ViTAS，一种用于视觉变换器的神经架构搜索方法，通过使用共享权重的超变换器与私有分类令牌，高效探索多样化架构。在硬件约束下联合搜索深度、宽度、序列长度和注意力头数，ViTAS 在 1.3G FLOPs 下实现 ImageNet 上 74.7% 的 top-1 准确率，比基线 ViT 提高 2.5%。

ABSTRACT

Recently, transformers have shown great superiority in solving computer vision tasks by modeling images as a sequence of manually-split patches with self-attention mechanism. However, current architectures of vision transformers (ViTs) are simply inherited from natural language processing (NLP) tasks and have not been sufficiently investigated and optimized. In this paper, we make a further step by examining the intrinsic structure of transformers for vision tasks and propose an architecture search method, dubbed ViTAS, to search for the optimal architecture with similar hardware budgets. Concretely, we design a new effective yet efficient weight sharing paradigm for ViTs, such that architectures with different token embedding, sequence size, number of heads, width, and depth can be derived from a single super-transformer. Moreover, to cater for the variance of distinct architectures, we introduce extit{private} class token and self-attention maps in the super-transformer. In addition, to adapt the searching for different budgets, we propose to search the sampling probability of identity operation. Experimental results show that our ViTAS attains excellent results compared to existing pure transformer architectures. For example, with $1.3$G FLOPs budget, our searched architecture achieves $74.7\%$ top-$1$ accuracy on ImageNet and is $2.5\%$ superior than the current baseline ViT architecture. Code is available at \url{this https URL}.

研究动机与目标

• 解决视觉变换器（ViTs）因继承自 NLP 模型而缺乏视觉特定优化的次优设计问题。
• 在固定硬件预算下，实现对深度、宽度、序列长度、注意力头数量等多维架构的高效架构搜索。
• 设计一种权重共享机制，使单个超变换器能够表示多种不同的 ViT 架构。
• 引入私有分类令牌和注意力图，以处理超网络中的架构差异。
• 通过学习身份操作的采样概率，使搜索适应不同的 FLOP 预算。

提出的方法

• 设计一个超变换器，使其在所有架构变体中共享注意力和前馈网络权重。
• 为每种架构变体引入私有分类令牌和自注意力图，以处理架构多样性。
• 采用可微架构搜索策略，通过可学习的采样概率控制身份操作。
• 构建一个包含嵌入维度、序列长度、注意力头数量、宽度和深度变化的搜索空间。
• 使用可微搜索目标优化超网络，以平衡准确率与 FLOP 预算。
• 应用早期停止和剪枝策略，在保持性能的同时降低搜索成本。

实验结果

研究问题

• RQ1 一个统一的超网络能否有效表示具有不同深度、宽度和序列长度的多样化视觉变换器架构？
• RQ2 在共享架构搜索空间中，引入私有分类令牌和注意力图在多大程度上提升了性能？
• RQ3 在固定 FLOP 预算下，使用可学习采样概率的可微架构搜索在多大程度上提升了 ViT 的准确率？
• RQ4 在 ImageNet 上，ViTAS 与现有 ViT 架构相比，在准确率和效率方面表现如何？
• RQ5 所提出的权重共享方案能否在不损害性能的前提下，实现高效且有效的架构搜索？

主要发现

• ViTAS 在 1.3G FLOPs 预预下于 ImageNet 上实现 74.7% 的 top-1 准确率，比基线 ViT 提高 2.5 个百分点。
• 所搜索到的架构在相同硬件约束下，相比现有纯变换器模型展现出更优的准确率。
• 使用私有分类令牌和注意力图显著提升了性能，通过减少超网络中不同架构间的干扰。
• 采用自适应采样概率的可微搜索策略，实现了计算开销极小的架构空间高效探索。
• 权重共享机制使得在单一超网络中，对深度、宽度、序列长度和注意力头数量的架构搜索成为可能。
• 在指定 FLOP 预算下，该方法在纯变换器模型中实现了 ImageNet 上的最先进性能。