[论文解读] Delving Deep into the Generalization of Vision Transformers under Distribution Shifts

Chongzhi Zhang, Mingyuan Zhang+7 more|arXiv (Cornell University)|Jun 14, 2021

Domain Adaptation and Few-Shot Learning参考文献 31被引用 9

一句话总结

本文研究了在各种分布偏移下视觉变换器（ViTs）的分布外（OOD）泛化能力，发现ViTs对形状和结构等归纳偏置学习得更强，与人类认知更为一致，从而在OOD性能上优于卷积神经网络（CNNs）。通过引入对抗训练、信息论和自监督学习的平滑训练策略，作者提出了泛化增强型ViTs（GE-ViTs），相较于原始ViTs在OOD数据上实现了4%的准确率提升，且大模型在增强中受益更多。

ABSTRACT

Vision Transformers (ViTs) have achieved impressive performance on various vision tasks, yet their generalization under distribution shifts (DS) is rarely understood. In this work, we comprehensively study the out-of-distribution (OOD) generalization of ViTs. For systematic investigation, we first present a taxonomy of DS. We then perform extensive evaluations of ViT variants under different DS and compare their generalization with Convolutional Neural Network (CNN) models. Important observations are obtained: 1) ViTs learn weaker biases on backgrounds and textures, while they are equipped with stronger inductive biases towards shapes and structures, which is more consistent with human cognitive traits. Therefore, ViTs generalize better than CNNs under DS. With the same or less amount of parameters, ViTs are ahead of corresponding CNNs by more than 5% in top-1 accuracy under most types of DS. 2) As the model scale increases, ViTs strengthen these biases and thus gradually narrow the in-distribution and OOD performance gap. To further improve the generalization of ViTs, we design the Generalization-Enhanced ViTs (GE-ViTs) from the perspectives of adversarial learning, information theory, and self-supervised learning. By comprehensively investigating these GE-ViTs and comparing with their corresponding CNN models, we observe: 1) For the enhanced model, larger ViTs still benefit more for the OOD generalization. 2) GE-ViTs are more sensitive to the hyper-parameters than their corresponding CNN models. We design a smoother learning strategy to achieve a stable training process and obtain performance improvements on OOD data by 4% from vanilla ViTs. We hope our comprehensive study could shed light on the design of more generalizable learning architectures.

研究动机与目标

• 理解视觉变换器（ViTs）在真实世界分布偏移下的分布外（OOD）泛化行为。
• 在多种分布偏移类型下，比较ViT与CNN的泛化性能。
• 识别可能解释ViTs在OOD性能上更优的ViTs中的归纳偏置。
• 设计并评估泛化增强型ViTs（GE-ViTs），通过对抗学习、信息论和自监督学习提升OOD泛化能力。
• 分析GE-ViTs对超参数的敏感性，并提出更平滑的训练策略以实现稳定收敛。

提出的方法

• 基于语义概念修改提出分布偏移的分类体系：背景、损坏、纹理和风格偏移。
• 在五种OOD偏移类型下，对ViT变体及其对应CNN（如DeiT、VGG-16、BiT）进行广泛评估。
• 提出三种类型的GE-ViTs：T-ADV（对抗训练）、T-MME（互信息最大化）和T-SSL（自监督学习），以提升泛化能力。
• 应用更平滑的训练策略以稳定GE-ViT训练，尤其对对抗性和信息论方法至关重要。
• 在多个基准上采用统一评估协议，比较OOD性能和泛化差距。
• 使用标准指标（如OOD偏移基准上的top-1准确率）验证性能提升。

实验结果

研究问题

• RQ1 与CNN相比，ViTs在不同类型的分布偏移下如何泛化？
• RQ2 ViTs学习了哪些归纳偏置？它们如何与人类认知特征（如对形状和结构的敏感性）对齐？
• RQ3 模型规模的提升在多大程度上改善了ViTs的OOD泛化能力？
• RQ4 泛化增强型ViTs（GE-ViTs）是否能在多种OOD偏移类型下实现一致的性能提升？
• RQ5 GE-ViTs对超参数的敏感性如何？更平滑的训练策略能否稳定其训练？

主要发现

• 在大多数分布偏移下，ViTs的泛化能力优于CNNs，在OOD数据上top-1准确率高出5%以上，且参数量相似或更少。
• ViTs对形状和结构表现出更强的归纳偏置，对纹理和背景的偏置更弱，与人类感知更为一致。
• 随着模型规模增大，ViTs对形状/结构的偏置进一步增强，逐步缩小分布内与分布外设置之间的性能差距。
• GE-ViTs相较于原始ViTs在OOD数据上实现了4%的性能提升，且在三种增强方法中均表现出一致改进。
• 大模型从泛化增强中获益更多，表明在OOD泛化方面具有可扩展优势。
• 与CNN相比，GE-ViTs对超参数更敏感，因此需要更平滑的训练策略以实现稳定收敛。