[论文解读] A free lunch from ViT:Adaptive Attention Multi-scale Fusion Transformer for Fine-grained Visual Recognition

Yuan Zhang, Jian Cao+5 more|arXiv (Cornell University)|Oct 4, 2021

Advanced Neural Network Applications被引用 13

一句话总结

本文提出 AFTrans，一种基于视觉 Transformer 的新型模型，通过选择性注意力聚合模块（SACM）自适应融合多尺度特征，从而提升细粒度视觉识别性能。通过利用注意力权重动态强调相关图像块，AFTrans 在无需边界框标注的情况下捕获全局与局部表征，其在 CUB-200-2011、Stanford Dogs 和 iNat2017 基准测试中均达到最先进性能。

ABSTRACT

Learning subtle representation about object parts plays a vital role in fine-grained visual recognition (FGVR) field. The vision transformer (ViT) achieves promising results on computer vision due to its attention mechanism. Nonetheless, with the fixed size of patches in ViT, the class token in deep layer focuses on the global receptive field and cannot generate multi-granularity features for FGVR. To capture region attention without box annotations and compensate for ViT shortcomings in FGVR, we propose a novel method named Adaptive attention multi-scale Fusion Transformer (AFTrans). The Selective Attention Collection Module (SACM) in our approach leverages attention weights in ViT and filters them adaptively to correspond with the relative importance of input patches. The multiple scales (global and local) pipeline is supervised by our weights sharing encoder and can be easily trained end-to-end. Comprehensive experiments demonstrate that AFTrans can achieve SOTA performance on three published fine-grained benchmarks: CUB-200-2011, Stanford Dogs and iNat2017.

研究动机与目标

• 解决视觉 Transformer 在细粒度视觉识别中捕捉多粒度特征的局限性。
• 实现在无需边界框标注的情况下，端到端学习全局与局部感受野。
• 通过自适应过滤和融合来自不同尺度的注意力图，增强特征表征能力。
• 设计一种轻量化、可训练的模块，可无缝集成到现有 ViT 架构中。

提出的方法

• 选择性注意力聚合模块（SACM）自适应地筛选 ViT 的注意力权重，根据图像块的相对重要性突出关键区域。
• 通过在 ViT 编码器的不同层应用 SACM，生成多尺度特征（包括全局与局部）。
• 采用参数共享编码器对多尺度分支进行监督，实现端到端训练，且额外参数极少。
• 利用 ViT 的自注意力机制提取层次化表征，同时对原始架构进行最小程度的修改。
• 通过可学习的注意力聚合机制实现多尺度特征融合，显著提升特征的判别能力。
• 在标准细粒度基准数据集上使用标准交叉熵损失进行端到端训练。

实验结果

研究问题

• RQ1 自适应注意力机制能否提升视觉 Transformer 在细粒度视觉识别中的特征表征能力？
• RQ2 如何在不依赖边界框标注的情况下有效融合多尺度特征？
• RQ3 能否设计一种轻量化模块，以增强 ViT 同时捕捉局部与全局上下文的能力？
• RQ4 所提方法是否在标准细粒度基准上达到最先进性能？

主要发现

• AFTrans 在 CUB-200-2011 基准上达到最先进准确率，且未使用边界框标注，优于先前方法。
• 在 Stanford Dogs 数据集上，AFTrans 的 top-1 准确率显著超越现有基于 Transformer 的模型。
• 在 iNat2017 基准上，AFTrans 表现具有竞争力，展现出在多样化细粒度类别上的良好泛化能力。
• 消融实验验证了 SACM 模块与多尺度融合机制对性能的显著提升，证实了设计选择的有效性。
• 该方法通过极少的架构修改与无额外监督，实现高性能，凸显其高效性与有效性。