[论文解读] Discriminative Feature and Dictionary Learning with Part-aware Model for Vehicle Re-identification

Huibing Wang, Jinjia Peng+3 more|arXiv (Cornell University)|Mar 16, 2020

Video Surveillance and Tracking Methods参考文献 34被引用 4

一句话总结

该论文提出了一种基于三元组中心损失的部件感知模型（TCPM），通过将车辆图像在空间上划分为水平和垂直部分，学习具有区分性的局部特征，从而提升车辆重识别性能。通过引入外部记忆模块以建模全局特征分布，并利用三元组中心损失强化类内紧凑性和类间可分性，TCPM在VehicleID和VeRi-776数据集上取得了最先进性能，mAP最高提升1.29%，Rank-1准确率提升1.12%。

ABSTRACT

With the development of smart cities, urban surveillance video analysis will play a further significant role in intelligent transportation systems. Identifying the same target vehicle in large datasets from non-overlapping cameras should be highlighted, which has grown into a hot topic in promoting intelligent transportation systems. However, vehicle re-identification (re-ID) technology is a challenging task since vehicles of the same design or manufacturer show similar appearance. To fill these gaps, we tackle this challenge by proposing Triplet Center Loss based Part-aware Model (TCPM) that leverages the discriminative features in part details of vehicles to refine the accuracy of vehicle re-identification. TCPM base on part discovery is that partitions the vehicle from horizontal and vertical directions to strengthen the details of the vehicle and reinforce the internal consistency of the parts. In addition, to eliminate intra-class differences in local regions of the vehicle, we propose external memory modules to emphasize the consistency of each part to learn the discriminating features, which forms a global dictionary over all categories in dataset. In TCPM, triplet-center loss is introduced to ensure each part of vehicle features extracted has intra-class consistency and inter-class separability. Experimental results show that our proposed TCPM has an enormous preference over the existing state-of-the-art methods on benchmark datasets VehicleID and VeRi-776.

研究动机与目标

• 解决监控系统中因共享设计或制造商导致外观相似车辆难以区分的挑战。
• 通过聚焦细粒度局部部件特征而非仅依赖全局外观特征，提升车辆重识别性能。
• 通过新型损失函数与基于记忆的特征建模，增强局部车辆特征的类内一致性与类间可分性。
• 构建一个可扩展的框架，利用空间划分与全局词典学习，提升车辆重识别中区分性特征的学习能力。

提出的方法

• 将车辆特征图划分为多个水平和垂直区域，以提取局部区分性特征。
• 引入一个外部记忆模块，用于存储并维护所有身份中每个部件的全局中心特征向量，形成全局词典。
• 采用三元组中心损失函数，以全局中心特征向量作为锚点，优化特征嵌入以实现类内紧凑性和类间边界。
• 使用双分支网络架构：一个分支用于水平划分，另一个分支用于垂直划分，实现多方向特征学习。
• 通过记忆模块建模整个数据集中局部特征的分布，以稳定特征学习过程。
• 通过融合多个部件区域的表征，将全局与局部特征学习相结合，生成统一的嵌入用于重识别。

实验结果

研究问题

• RQ1 将车辆特征在空间上划分为水平和垂直部件，是否能提升车辆重识别中的区分性特征学习？
• RQ2 引入建模全局特征分布的外部记忆模块，是否能增强类内一致性和重识别准确率？
• RQ3 与标准三元组损失相比，三元组中心损失在提升类间可分性与类内紧凑性方面有多大改进？
• RQ4 所提出的部件感知模型与仅使用全局特征的基线模型及现有最先进方法相比，在标准基准上的表现如何？
• RQ5 该模型在不同测试集规模及视角、光照变化等挑战性条件下是否具备良好的泛化能力？

主要发现

• 所提出的TCPM模型在VeRi-776数据集上达到mAP 85.13%与Rank-1准确率81.96%，mAP相比基线提升5.06个百分点。
• 在VehicleID数据集上，TCPM实现mAP 74.59%与Rank-1 93.98%，mAP相比基线提升1.29%。
• 引入三元组中心损失（OneBranch+Mem+TC）相比OneBranch+Mem，在VeRi-776上实现mAP提升1.05%与Rank-1提升0.89%。
• 双分支架构（TwoBranch+Mem+TC）在VehicleID测试集大小分别为800、1600与2400时，mAP分别提升0.51%、0.59%与0.79%。
• 可视化结果证实，该模型对视角与光照变化具有鲁棒性，在多样化条件下均能高精度检索到正确匹配。
• 外部记忆模块通过建模局部部件特征的全局分布，有效稳定了特征学习并提升了泛化能力。