[论文解读] GiT: Graph Interactive Transformer for Vehicle Re-identification

Fei Shen, Yi Xie+3 more|arXiv (Cornell University)|Jul 12, 2021

Advanced Neural Network Applications参考文献 40被引用 14

一句话总结

该论文提出GiT，一种用于车辆重识别的图交互式Transformer模型，通过新颖的局部相关性图（LCG）联合学习判别性局部特征，并通过堆叠的交互式模块架构中的自注意力机制学习鲁棒的全局特征。该方法在三个大规模基准测试中达到最先进性能，在最大配置下于VeRi776数据集上达到97.22%的R1和81.48%的mAP。

ABSTRACT

Transformers are more and more popular in computer vision, which treat an image as a sequence of patches and learn robust global features from the sequence. However, pure transformers are not entirely suitable for vehicle re-identification because vehicle re-identification requires both robust global features and discriminative local features. For that, a graph interactive transformer (GiT) is proposed in this paper. In the macro view, a list of GiT blocks are stacked to build a vehicle re-identification model, in where graphs are to extract discriminative local features within patches and transformers are to extract robust global features among patches. In the micro view, graphs and transformers are in an interactive status, bringing effective cooperation between local and global features. Specifically, one current graph is embedded after the former level's graph and transformer, while the current transform is embedded after the current graph and the former level's transformer. In addition to the interaction between graphs and transforms, the graph is a newly-designed local correction graph, which learns discriminative local features within a patch by exploring nodes' relationships. Extensive experiments on three large-scale vehicle re-identification datasets demonstrate that our GiT method is superior to state-of-the-art vehicle re-identification approaches.

研究动机与目标

• 为解决纯CNN和Transformer在车辆重识别任务中的局限性，通过联合建模局部与全局特征。
• 克服现有CNN-GNN或CNN-Transformer混合模型中局部与全局特征学习缺乏交互的问题。
• 设计一种新型局部相关性图（LCG），通过建模节点间关系，在图像块内捕捉判别性局部特征。
• 开发一种堆叠式交互架构，使图模块与Transformer模块在各层间协同合作，以增强特征表示能力。
• 证明该方法在车辆重识别之外的其他重识别任务（如行人重识别）中的泛化能力。

提出的方法

• GiT模型通过堆叠多个GiT模块构建，每个模块以交互式级联方式集成局部相关性图（LCG）与Transformer层。
• 在每个模块中，当前图在前一模块的图与Transformer输出之后进行嵌入，当前Transformer在当前图与前一Transformer输出之后进行嵌入，从而实现跨层级的特征交互。
• LCG模块通过使用可学习参数与图卷积操作，建模空间节点之间的关系，以在每个图像块内学习局部特征。
• Transformer模块采用多头自注意力机制，捕捉跨图像块的长距离依赖关系，并通过非下采样设计保持空间分辨率。
• 通过联合三元组损失与交叉熵损失进行模型训练，以同时优化全局与局部特征的判别能力。
• 通过深度（D）与注意力头数量（H）实现模型可扩展性，支持对模型容量的消融实验。

实验结果

研究问题

• RQ1 基于图的局部特征学习与基于Transformer的全局特征学习之间的交互，如何影响重识别准确率？
• RQ2 所提出的局部相关性图（LCG）模块在捕捉车轮、车灯等细粒度车辆细节方面有何贡献？
• RQ3 所提出的GiT架构与纯CNN、纯Transformer以及CNN-GNN混合模型相比，在性能与效率方面表现如何？
• RQ4 GiT在其他重识别任务（如行人重识别）中具有多大程度的泛化能力？
• RQ5 模型深度（D）与注意力头数量（H）如何影响性能与参数效率？

主要发现

• 在VeRi776数据集上，GiT-H12-D18达到97.22%的R1与81.48%的mAP，优于所有先前方法。
• 最大配置的GiT（H12-D18）在VeRi776上实现97.22%的R1与81.48%的mAP，参数量为134.1M，展现出中等复杂度下的强大性能。
• 在Market-1501数据集上，GiT达到95.7%的R1与88.9%的mAP，在所有对比方法中mAP排名第一。
• 在更大的MSMT17数据集上，GiT达到85.6%的R1与64.8%的mAP，在两项指标上均优于所有最先进方法。
• 敏感性分析表明，每单位参数增加时，增加深度（D）对性能的提升优于增加头数（H），H=12相比H=3使参数量增加162.3%。
• GiT-Tiny（H3-D12）在准确率与FLOPs方面均优于ViT-Base，即使在小规模下也展现出高效与有效。