[论文解读] Intriguing Properties of Vision Transformers

Muzammal Naseer, Kanchana Ranasinghe+4 more|arXiv (Cornell University)|May 21, 2021

Advanced Neural Network Applications参考文献 46被引用 301

一句话总结

本论文表明视觉变换器（ViTs）对遮挡、域移和置换具有极高的鲁棒性，相较于CNNs具有强烈的形状偏好，能够通过形状标记在没有像素级监督的情况下进行分割，并提供可迁移的现成特征，这一切都归功于它们灵活的自注意力感受野。

ABSTRACT

Vision transformers (ViT) have demonstrated impressive performance across various machine vision problems. These models are based on multi-head self-attention mechanisms that can flexibly attend to a sequence of image patches to encode contextual cues. An important question is how such flexibility in attending image-wide context conditioned on a given patch can facilitate handling nuisances in natural images e.g., severe occlusions, domain shifts, spatial permutations, adversarial and natural perturbations. We systematically study this question via an extensive set of experiments encompassing three ViT families and comparisons with a high-performing convolutional neural network (CNN). We show and analyze the following intriguing properties of ViT: (a) Transformers are highly robust to severe occlusions, perturbations and domain shifts, e.g., retain as high as 60% top-1 accuracy on ImageNet even after randomly occluding 80% of the image content. (b) The robust performance to occlusions is not due to a bias towards local textures, and ViTs are significantly less biased towards textures compared to CNNs. When properly trained to encode shape-based features, ViTs demonstrate shape recognition capability comparable to that of human visual system, previously unmatched in the literature. (c) Using ViTs to encode shape representation leads to an interesting consequence of accurate semantic segmentation without pixel-level supervision. (d) Off-the-shelf features from a single ViT model can be combined to create a feature ensemble, leading to high accuracy rates across a range of classification datasets in both traditional and few-shot learning paradigms. We show effective features of ViTs are due to flexible and dynamic receptive fields possible via the self-attention mechanism.

研究动机与目标

• 激发对ViTs相对于CNNs在遮挡、域移、扰动等噪声下的鲁棒性和泛化能力进行研究的动机。
• 阐明自注意力和动态感受野如何提升鲁棒性与表示质量。
• 探索ViTs中的形状与纹理偏置及其对性能和分割能力的影响。
• 提出将形状信息编码到ViTs中的架构思路（形状标记），并评估现成ViT特征的可迁移性。
• 展示使用单模型特征集成在少样本与多样化下游任务中的ViTs的实际优势。

提出的方法

• 在十五个视觉数据集上对ViT家族变体（ViT、DeiT、T2T）进行广泛实验。
• 使用PatchDrop对随机、显著和非显著遮挡掩码应用遮挡情景以测试鲁棒性。
• 通过在风格化ImageNet上训练并引入专用形状标记来分析纹理与形状偏置。
• 通过打乱圖像补丁并改变补丁粒度来研究位置编码的作用。
• 评估对抗性与常见腐蚀的鲁棒性，且有无数据扩增。
• 通过将来自不同块的类别标记进行集成，在下游分类和少样本任务上测试现成ViT特征的迁移能力。

实验结果

研究问题

• RQ1 在严重遮挡和补丁级扰动下，Vision Transformers 相较于CNNs 是否仍然鲁棒？
• RQ2 ViTs 是否偏向纹理还是形状，以及是否可以在不牺牲准确性的情况下编码基于形状的线索？
• RQ3 ViTs 是否能够在不使用像素级监督的情况下，利用形状信息实现自动分割？
• RQ4 现成ViT特征在跨越多样下游任务和设置时的传输效果是否优于CNN特征？
• RQ5 位置编码和感受野在ViT鲁棒性与泛化中的作用是什么？

主要发现

• ViTs在严重遮挡下仍保持较高准确度，例如DeiT在ImageNet上当80%内容被随机遮挡时TOP-1约为60%，而CNNs趋近于0%。
• ViTs表现出比CNNs更少的纹理偏差和更强的形状偏置，当被训练以强调形状时，其形状识别与人类相当。
• 以形状为焦点的训练和形状标记使ViTs能够在没有像素级监督的情况下执行自动前景分割。
• 现成ViT特征在多样数据集上具有良好的迁移性，并且能够从单一模型实现强大的集成，在迁移任务和少样本学习中常常胜过CNN基线。
• ViTs对补丁顺序具有置换不变性，并依赖动态、内容相关的感受野来实现鲁棒性，而不是靠位置编码。