[论文解读] Looking GLAMORous: Vehicle Re-Id in Heterogeneous Cameras Networks with Global and Local Attention

Abhijit Suprem, Calton Pu|arXiv (Cornell University)|Feb 6, 2020

Advanced Neural Network Applications参考文献 32被引用 24

一句话总结

GLAMOR 提出了一种紧凑的单模型框架，用于在异构摄像头网络中进行车辆重识别，通过统一的全局与局部注意力模块，同时提取用于类间区分的全局特征和用于类内鲁棒性的自引导局部特征。其在 VeRi-776 上达到 80.34 的 mAP，VRIC 上为 76.48，VeRi-Wild 上为 77.15，mAP 相较于先前方法提升 25%，同时模型大小仅为原来的十分之一。

ABSTRACT

Vehicle re-identification (re-id) is a fundamental problem for modern surveillance camera networks. Existing approaches for vehicle re-id utilize global features and local features for re-id by combining multiple subnetworks and losses. In this paper, we propose GLAMOR, or Global and Local Attention MOdules for Re-id. GLAMOR performs global and local feature extraction simultaneously in a unified model to achieve state-of-the-art performance in vehicle re-id across a variety of adversarial conditions and datasets (mAPs 80.34, 76.48, 77.15 on VeRi-776, VRIC, and VeRi-Wild, respectively). GLAMOR introduces several contributions: a better backbone construction method that outperforms recent approaches, group and layer normalization to address conflicting loss targets for re-id, a novel global attention module for global feature extraction, and a novel local attention module for self-guided part-based local feature extraction that does not require supervision. Additionally, GLAMOR is a compact and fast model that is 10x smaller while delivering 25% better performance.

研究动机与目标

• 解决车辆重识别中因多样化的摄像头视角、分辨率以及遮挡和模糊等环境条件导致的类内差异问题。
• 克服监督式局部特征提取的局限性，通过无需边界框或关键点标注的自引导注意力机制实现部件定位。
• 开发一种统一且紧凑的模型，利用注意力机制同时学习全局与局部特征，降低模型大小与推理成本。
• 通过将批量归一化替换为层归一化，并优化损失组合策略，提升特征表示的稳定性和性能。
• 在对抗性真实世界条件下，于多个基准数据集上实现最先进的重识别准确率。

提出的方法

• 提出一种新型全局注意力模块，减少初始卷积层的稀疏性，增强形状与颜色不变性的全局特征学习。
• 提出一种局部注意力模块，无需监督即可从全局特征中自动识别并提取基于部件的特征（如车灯、保险杠）。
• 采用 ResNet-18 主干网络并结合层归一化，以稳定训练并在不同小批量大小下提升泛化能力。
• 结合三元组损失与标签平滑的 Softmax 损失，通过归一化对齐不同损失目标下的特征分布。
• 采用统一的单流架构，无需多分支网络或外部检测器来提取局部特征。
• 应用学习率热身（warmup-1）调度策略与特征归一化，以提升收敛性与鲁棒性。

实验结果

研究问题

• RQ1 在异构摄像头条件下，统一的全局与局部注意力机制模型是否能超越多分支或多流架构在车辆重识别中的表现？
• RQ2 通过注意力模块实现的自引导局部特征学习是否可消除对监督部件标注的依赖，同时保持或提升准确率？
• RQ3 与批量归一化相比，层归一化与优化的损失组合策略是否能提升重识别任务中的模型稳定性与性能？
• RQ4 在存在遮挡与视角变化的情况下，全局注意力在增强特征丰富性与鲁棒性方面发挥多大作用？
• RQ5 在 VeRi-776、VRIC 与 VeRi-Wild 等标准基准数据集上，GLAMOR 在模型大小、推理速度与准确率方面相较于现有 SOTA 模型表现如何？

主要发现

• GLAMOR 在 VeRi-776 上达到 80.34 的 mAP，超越包括 PGAN 在内的先前 SOTA 方法，rank-1 准确率达 96.53%。
• 在包含多分辨率与多尺度图像的挑战性 VRIC 数据集上，GLAMOR 实现 mAP 76.48 与 rank-1 78.58%，优于现有单模型方法。
• 在大规模 VeRi-Wild 基准上，GLAMOR 达到 mAP 77.15 与 rank-1 92.13%，展现出在真实世界对抗性条件下的强大泛化能力与鲁棒性。
• GLAMOR 将模型参数量减少至 11M，约为次紧凑模型（MTML-OSG，110M）的十分之一，同时相较 MTML-OSG 提升 mAP 25%。
• 层归一化表现最佳（mAP 68.45），优于批量归一化（66.10）与组归一化（67.12），因其在不同小批量大小下具有更强的稳定性。
• 全局与局部注意力模块的结合使 mAP 提升至 73.28，显著优于 CBAM（63.59）与基础模型（63.59），证明了注意力设计的有效性。