[论文解读] Hiera: A Hierarchical Vision Transformer without the Bells-and-Whistles

Chaitanya K. Ryali, Yuan-Ting Hu+11 more|arXiv (Cornell University)|Jun 1, 2023

CCD and CMOS Imaging Sensors被引用 58

一句话总结

Hiera 是一个简单的分层视觉变换器，使用 MAE 预训练，去除了传统的视觉特定模块，在图像和视频任务上相比以往的分层模型实现更快的训练/推理和更高的准确性。

ABSTRACT

Modern hierarchical vision transformers have added several vision-specific components in the pursuit of supervised classification performance. While these components lead to effective accuracies and attractive FLOP counts, the added complexity actually makes these transformers slower than their vanilla ViT counterparts. In this paper, we argue that this additional bulk is unnecessary. By pretraining with a strong visual pretext task (MAE), we can strip out all the bells-and-whistles from a state-of-the-art multi-stage vision transformer without losing accuracy. In the process, we create Hiera, an extremely simple hierarchical vision transformer that is more accurate than previous models while being significantly faster both at inference and during training. We evaluate Hiera on a variety of tasks for image and video recognition. Our code and models are available at https://github.com/facebookresearch/hiera.

研究动机与目标

• 强调在分层变换器中增加视觉特定模块会带来额外负担并放慢模型速度。
• 展示强大的 MAE 预训练可以学习空间偏置，使得更简单的架构能够超越复杂的前辈。
• 证明在 MAE 预训练下，精简的分层 ViT 在训练和推理速度上可以更快，同时在图像和视频任务中保持或提高准确性。

提出的方法

• 从一个基础分层 ViT (MViTv2) 出发，去除非必要的视觉特定组件。
• 采用带有自定义掩码单元概念的 Masked Autoencoder (MAE) 预训练，以适应分层模型。
• 引入 Mask Unit Attention，在早期阶段替代全局 KV 池化以在 MAE 预训练期间提高效率。
• 使用 separate-and-pad 技巧来避免稀疏 MAE 预训练中的重叠问题，实现无卷积的高效训练。
• 在 MAE 预训练下移除相对位置嵌入、卷积等众多花哨特性，同时保持性能。
• 提供多种 Hiera 配置（T、S、B、B+、L、H），并给出详细的 FLOPs、参数和阶段结构。

实验结果

研究问题

• RQ1 纯基于变换器的分层视觉模型在不依赖花哨结构的情况下，使用 MAE 预训练是否能达到最先进的结果？
• RQ2 MAE 预训练如何与简化的分层架构交互，带来图像与视频任务的速度与准确性提升？
• RQ3 在使用 MAE 于分层 ViTs 时，去除卷积、注意力残差以及专用池化的权衡如何？
• RQ4 不同的 MAE 预训练设置（掩码比、解码器深度、下采样路径、预训练时长）如何影响图像与视频的性能？

主要发现

• Hiera 在图像和视频任务上超越了先前的最佳分层模型，同时在训练和推理上显著更快。
• MAE 预训练使简单的架构能够达到与更复杂、包含大量卷积的模型相当甚至更高的准确性。
• 移除卷积、平移窗口和分解的相对位置嵌入，同时使用 MAE，得到了极其简单但性能强劲的模型。
• Mask Unit Attention 在视频中提供了显著的吞吐量提升而不牺牲准确性，使得对基础 MViTv2 架构的速度提升非常明显。
• 在各变体中，Hiera-L 在 ImageNet-1K 以 MAE 的顶级准确度达到 86.1%，在视频数据集 Kinetics-700 达到 88.3%，且体积更小、速度更快，优于可比基线。
• 在迁移任务上，Hiera 变体在 iNaturalist 和 Places 数据集上持续优于以 MAE 预训练的 ViT。