[论文解读] Attribute-guided Feature Learning Network for Vehicle Re-identification

Huibing Wang, Jinjia Peng+4 more|arXiv (Cornell University)|Jan 12, 2020

Video Surveillance and Tracking Methods参考文献 38被引用 9

一句话总结

本文提出Attribute-Guided Network (AGNet)，一种用于车辆重识别的端到端深度学习框架，通过注意力模块利用车辆属性指导特征选择，并引入基于属性的标签平滑（ALS）损失以提升模型泛化能力。AGNet通过属性感知监督增强判别性特征学习，在VeRi-776和VehicleID数据集上实现了最先进性能。

ABSTRACT

Vehicle re-identification (reID) plays an important role in the automatic analysis of the increasing urban surveillance videos, which has become a hot topic in recent years. However, it poses the critical but challenging problem that is caused by various viewpoints of vehicles, diversified illuminations and complicated environments. Till now, most existing vehicle reID approaches focus on learning metrics or ensemble to derive better representation, which are only take identity labels of vehicle into consideration. However, the attributes of vehicle that contain detailed descriptions are beneficial for training reID model. Hence, this paper proposes a novel Attribute-Guided Network (AGNet), which could learn global representation with the abundant attribute features in an end-to-end manner. Specially, an attribute-guided module is proposed in AGNet to generate the attribute mask which could inversely guide to select discriminative features for category classification. Besides that, in our proposed AGNet, an attribute-based label smoothing (ALS) loss is presented to better train the reID model, which can strength the distinct ability of vehicle reID model to regularize AGNet model according to the attributes. Comprehensive experimental results clearly demonstrate that our method achieves excellent performance on both VehicleID dataset and VeRi-776 dataset.

研究动机与目标

• 通过利用高层车辆属性作为辅助信号，解决在不同视角、光照条件和复杂环境下的车辆重识别挑战。
• 通过在统一的端到端框架中显式建模车辆属性与身份特征之间的关系，提升特征的判别能力。
• 通过一种新型损失函数正则化训练过程，该函数考虑属性相似性（如相同颜色或型号），以增强泛化能力和鲁棒性。
• 通过整合属性监督来引导判别性局部特征的选择，减少对仅基于身份监督的依赖。

提出的方法

• AGNet采用双分支并行架构：一个分支用于预测车辆属性，另一个分支执行身份分类，两者通过残差块共享特征提取。
• 属性分支中的注意力模块生成属性掩码，引导身份分支聚焦于与预测属性相关的区域特征。
• 基于属性的注意力模块通过强调与显著属性相对应的区域，动态优化身份特征图，从而提升判别能力。
• 提出一种基于属性的标签平滑（ALS）损失，根据属性相似性为样本分配特定权重，降低过拟合并提升泛化能力。
• 网络通过联合损失函数进行端到端训练：包括身份和属性分类的交叉熵损失，以及用于正则化的ALS损失。
• 使用t-SNE进行特征可视化，结果表明在嵌入空间中，身份和属性聚类（如相同颜色或型号）均被良好分离。

实验结果

研究问题

• RQ1 将车辆属性整合到特征学习过程中，是否能提升重识别模型的判别能力？
• RQ2 如何有效利用属性信息来引导身份分类分支中的特征选择？
• RQ3 一种考虑属性相似性（如相同颜色或型号）的损失函数，是否能比标准交叉熵损失带来更好的泛化性能？
• RQ4 基于属性预测的注意力机制，是否能增强模型聚焦于相关视觉线索的能力？

主要发现

• 在VeRi-776数据集上，AGNet-ASL-All相比AGNet-ASL-ID的mAP高出3.71%，证明了属性监督的互补价值。
• 所提出的ALS损失带来显著改进：在VeRi-776上相比基线模型'Only-ID'提升8.5% mAP，在不同测试集大小下的VehicleID数据集上rank-1准确率提升达3.94%至3.86%。
• 在VeRi-776上，AGNet-ASL-All相比AGNet-ASL-Attr的mAP高出22.64%，证实基于身份的特征比基于属性的特征更具判别性。
• 定性结果表明，该模型在不同视角和光照变化下具有良好的泛化能力，即使在挑战性条件下也能实现高精度检索。
• t-SNE可视化结果表明，学习到的特征空间中，身份和属性聚类（如相同颜色或型号）均清晰分离。