[论文解读] Effective Vision Transformer Training: A Data-Centric Perspective

Benjia Zhou, Pichao Wang+3 more|arXiv (Cornell University)|Sep 29, 2022

Advanced Neural Network Applications被引用 4

一句话总结

该论文提出了一种面向视觉Transformer（ViTs）的数据中心化训练框架，通过在三个训练阶段——形成、增长和探索——中动态测量并生成‘有效’训练样本，调整样本难度。该方法引入了一种动态MixUp策略和一种逐块擦除方法（PatchErasing），以增强泛化能力，在DeiT和Swin Transformer模型上均实现了≥0.5%和≥0.4%的一致准确率提升，且训练开销极低。

ABSTRACT

Vision Transformers (ViTs) have shown promising performance compared with Convolutional Neural Networks (CNNs), but the training of ViTs is much harder than CNNs. In this paper, we define several metrics, including Dynamic Data Proportion (DDP) and Knowledge Assimilation Rate (KAR), to investigate the training process, and divide it into three periods accordingly: formation, growth and exploration. In particular, at the last stage of training, we observe that only a tiny portion of training examples is used to optimize the model. Given the data-hungry nature of ViTs, we thus ask a simple but important question: is it possible to provide abundant ``effective'' training examples at EVERY stage of training? To address this issue, we need to address two critical questions, \ie, how to measure the ``effectiveness'' of individual training examples, and how to systematically generate enough number of ``effective'' examples when they are running out. To answer the first question, we find that the ``difficulty'' of training samples can be adopted as an indicator to measure the ``effectiveness'' of training samples. To cope with the second question, we propose to dynamically adjust the ``difficulty'' distribution of the training data in these evolution stages. To achieve these two purposes, we propose a novel data-centric ViT training framework to dynamically measure the ``difficulty'' of training samples and generate ``effective'' samples for models at different training stages. Furthermore, to further enlarge the number of ``effective'' samples and alleviate the overfitting problem in the late training stage of ViTs, we propose a patch-level erasing strategy dubbed PatchErasing. Extensive experiments demonstrate the effectiveness of the proposed data-centric ViT training framework and techniques.

研究动机与目标

• 探究尽管使用大规模数据，ViT训练为何仍存在次优性能，尤其关注后期训练阶段有效样本不足的问题。
• 识别并量化三个不同训练演化阶段（形成、增长、探索）的存在。
• 通过基于难度的样本‘有效性’测量，动态生成高质量样本，缓解后期训练阶段有效样本稀缺的问题。
• 通过一种新颖的逐块擦除策略（PatchErasing）缓解ViTs在后期的过拟合问题，该策略对局部图像块进行正则化。
• 开发一种统一的数据中心化框架，根据模型容量和训练阶段灵活调整数据难度。

提出的方法

• 作者定义了动态数据比例（DDP）和知识吸收率（KAR），以客观识别三个训练阶段：形成阶段（简单样本）、增长阶段（中等样本）和探索阶段（困难样本）。
• 样本的‘有效性’通过‘难度’来衡量，难度更高的样本在后期知识吸收中被认为更具有效性。
• 提出一种动态MixUp技术，根据当前训练阶段调整训练数据的难度分布，从而灵活生成有效样本。
• 引入PatchErasing作为一种逐块数据增强策略，通过随机擦除图像块并正则化对应标签向量，以减少对局部图像块的过拟合。
• 根据模型的学习能力与陷入局部最优的风险，为大模型（如DeiT-B、Swin-B）采用静态难度调度，为小模型（如DeiT-T、DeiT-S）采用动态调度。
• 该方法可无缝集成到标准ViT训练流程中，计算开销极低，且在DeiT和Swin Transformer架构上均实现了稳定的性能提升。

实验结果

研究问题

• RQ1 能否基于数据利用效率与模型学习动态，将ViT训练过程系统性地划分为不同的演化阶段？
• RQ2 在ViT训练过程中，如何衡量单个训练样本的‘有效性’，特别是与模型容量和训练阶段的关系？
• RQ3 能否通过动态调整训练样本难度，提升所有训练阶段（尤其是后期探索阶段）的有效样本数量？
• RQ4 逐块数据增强（PatchErasing）是否能减少对局部图像块的过拟合，并提升ViTs的泛化能力？
• RQ5 能否构建一个统一的数据中心化训练框架，在极低训练成本下，一致提升不同尺寸ViT模型的性能？

主要发现

• ViT训练过程自然划分为三个阶段——形成、增长和探索，其划分依据为动态数据比例（DDP）与知识吸收率（KAR），且各阶段具有显著不同的数据利用模式。
• 在最终的探索阶段，仅有少量训练样本（困难和中等样本）对优化有贡献，而简单样本基本被忽略，表明数据利用存在关键瓶颈。
• 通过MixUp实现的动态难度调节，在DeiT-T上带来+0.4%的性能提升，在DeiT-S和DeiT-B上分别实现+0.5%的提升，小模型因采用灵活调度而表现更优。
• 当使用50%的掩码率时，PatchErasing在大模型（如DeiT-B）上实现+0.4%的性能增益，证明其在缓解块级别过拟合方面的有效性。
• 该框架在基于全局注意力（如DeiT）和基于局部注意力（如Swin）的ViT架构中均一致提升准确率，DeiT模型增益≥0.5%，Swin模型增益≥0.4%。
• 可视化结果表明，PatchErasing促使模型关注更多物体区域，减少对少数显著块的依赖，从而提升模型鲁棒性。