[论文解读] Efficient Training of Visual Transformers with Small-Size Datasets

Yahui Liu, Enver Sangineto+4 more|arXiv (Cornell University)|Jun 7, 2021

Advanced Neural Network Applications参考文献 75被引用 12

一句话总结

本文提出了一项自监督任务，通过以极低的计算成本鼓励视觉变换器（VTs）学习空间关系，从而在小样本数据设置下提升其性能。当与标准的监督训练结合时，该方法在多种架构和基准测试中显著提高了VT的鲁棒性和准确性。

ABSTRACT

Visual Transformers (VTs) are emerging as an architectural paradigm alternative to Convolutional networks (CNNs). Differently from CNNs, VTs can capture global relations between image elements and they potentially have a larger representation capacity. However, the lack of the typical convolutional inductive bias makes these models more data-hungry than common CNNs. In fact, some local properties of the visual domain which are embedded in the CNN architectural design, in VTs should be learned from samples. In this paper, we empirically analyse different VTs, comparing their robustness in a small training-set regime, and we show that, despite having a comparable accuracy when trained on ImageNet, their performance on smaller datasets can be largely different. Moreover, we propose a self-supervised task which can extract additional information from images with only a negligible computational overhead. This task encourages the VTs to learn spatial relations within an image and makes the VT training much more robust when training data are scarce. Our task is used jointly with the standard (supervised) training and it does not depend on specific architectural choices, thus it can be easily plugged in the existing VTs. Using an extensive evaluation with different VTs and datasets, we show that our method can improve (sometimes dramatically) the final accuracy of the VTs. The code will be available upon acceptance.

研究动机与目标

• 解决视觉变换器（VTs）对数据需求高的问题，因其缺乏卷积神经网络（CNNs）的归纳偏置，在小样本数据集上表现不佳。
• 探究尽管在ImageNet上准确率相似，为何VTs在小规模训练集上性能波动较大。
• 开发一种自监督训练组件，以在不改变网络架构的前提下提升VT在数据稀缺条件下的泛化能力。
• 确保该方法具备即插即用特性，与现有VT架构和训练流程完全兼容。

提出的方法

• 引入一项自监督任务，通过利用全局上下文预测被遮蔽的图像块，促使视觉变换器学习图像内的空间关系。
• 在训练过程中将该自监督任务作为辅助损失，与标准的监督交叉熵损失并行使用。
• 在预训练或微调阶段应用该自监督任务，计算开销可忽略不计。
• 使用标准的VT主干网络（如ViT），并使用相同输入数据同时优化监督和自监督目标。
• 设计自监督任务时确保其与架构无关，便于轻松集成到现有VT框架中。
• 采用标准优化策略进行训练，自监督损失的权重经过调整以平衡主分类目标。

实验结果

研究问题

• RQ1 尽管在ImageNet上准确率相近，不同视觉变换器架构在小样本数据集上的表现如何？
• RQ2 轻量级的自监督任务能否提升视觉变换器在低数据量场景下的鲁棒性？
• RQ3 所提出的自监督任务是否能在不增加计算成本的前提下增强VT的空间理解能力？
• RQ4 该方法在不同VT架构和数据集上的泛化能力如何？

主要发现

• 视觉变换器在小样本数据集上表现出显著的性能差异，即使在ImageNet上准确率相近。
• 所提出的自监督任务显著提升了VT在小样本数据集上的准确率，且在多种架构中均观察到性能提升。
• 在CIFAR-100和Stanford Cars等基准测试中，该方法在训练数据有限的情况下实现了显著的准确率增益，有时甚至大幅提升。
• 自监督组件引入的计算开销极低，具备实际部署的可行性。
• 该方法对底层VT架构不敏感，表现出广泛的兼容性与即插即用的实用性。
• 联合训练自监督任务能促进更好的特征学习，显著提升泛化能力，尤其在数据稀缺场景下。