[论文解读] Feature Fusion Vision Transformer for Fine-Grained Visual Categorization

Jun Wang, Xiaohan Yu+1 more|arXiv (Cornell University)|Jul 6, 2021

Advanced Neural Network Applications参考文献 38被引用 84

一句话总结

FFVT 将 ViT 与特征融合机制和 Mutual Attention Weight Selection (MAWS) 相结合，汇聚局部、中层和高层 token，用于 FGVC，在四个 FGVC 基准测试上达到最先进的结果.

ABSTRACT

The core for tackling the fine-grained visual categorization (FGVC) is to learn subtle yet discriminative features. Most previous works achieve this by explicitly selecting the discriminative parts or integrating the attention mechanism via CNN-based approaches.However, these methods enhance the computational complexity and make the modeldominated by the regions containing the most of the objects. Recently, vision trans-former (ViT) has achieved SOTA performance on general image recognition tasks. Theself-attention mechanism aggregates and weights the information from all patches to the classification token, making it perfectly suitable for FGVC. Nonetheless, the classifi-cation token in the deep layer pays more attention to the global information, lacking the local and low-level features that are essential for FGVC. In this work, we proposea novel pure transformer-based framework Feature Fusion Vision Transformer (FFVT)where we aggregate the important tokens from each transformer layer to compensate thelocal, low-level and middle-level information. We design a novel token selection mod-ule called mutual attention weight selection (MAWS) to guide the network effectively and efficiently towards selecting discriminative tokens without introducing extra param-eters. We verify the effectiveness of FFVT on three benchmarks where FFVT achieves the state-of-the-art performance.

研究动机与目标

• 解决 FGVC 中对判别性局部特征的需求。
• 利用视觉 Transformer 捕捉全局与局部信息，避免 CNN 偏见。
• 开发一种跨层选择信息性 token 的机制，无需额外参数。
• 融合多级 token，以用局部和中/高层信息丰富最终分类器。
• 在四个 FGVC 基准上进行验证，包括小规模和超精细数据集。

提出的方法

• 使用纯 ViT 主干对图像进行分块处理，带有一个用于分类的类别 token。
• 引入 Feature Fusion Module，用之前层选取的 token（不含类别 token）替代最后一层 Transformer 层的输入。
• 提出 Mutual Attention Weight Selection (MAWS)，利用自注意力分数选择用于融合的判别 token。
• 通过标准化来自分类 token 端和 token 端上下文的注意力分数来计算互注意力权重，然后每层选择前 K 个 token。
• 从每一层聚合 K 个局部/中/高层 token 作为 z_local，并与最后一层输入融合为 z_ff，输入到最终分类器。
• MAWS 不引入额外可学习参数；依赖注意力推导信号进行 token 选择。

实验结果

研究问题

• RQ1 纯 Transformer 架构是否通过多层 token 融合，在小规模和超精细数据集上也能实现有竞争力的 FGVC 性能？
• RQ2 在跨层选择性聚合局部和中层 token 是否比仅使用最终层类别 token 信息更能提升 FGVC 性能？
• RQ3 基于 MAWS 的 token 选择是否在不增加可学习参数的情况下高效有效？

主要发现

• FFVT 在四个 FGVC 基准上取得了最先进的结果，超越了许多基于 CNN 的方法。
• 在 CUB-200-2011 上，FFVT 与 ViT-B_16 的准确率为 91.6%，紧随 TransFG 的 91.7%。
• 在 Stanford Dogs 上，FFVT 达到 91.5% 的准确率，领先第二名 TransFG 0.9%。
• 在 CottonCultivar80 上，FFVT 的准确率为 57.92%，是已报道方法中的最高值。
• 在 SoyCultivarLocal 上，FFVT 的准确率为 44.17%，高于以往方法。