[论文解读] Multi-Domain Learning and Identity Mining for Vehicle Re-Identification

Shuting He, Hao Luo+6 more|arXiv (Cornell University)|Apr 22, 2020

Video Surveillance and Tracking Methods参考文献 20被引用 5

一句话总结

本文提出了一种多领域学习（MDL）策略和一种身份挖掘（IM）方法，通过结合真实世界数据与合成数据，以提升车辆重识别（ReID）性能。通过在真实数据与合成数据上联合训练，并采用领域感知的微调策略，同时利用IM生成高置信度伪标签，该方法在AICITY2020 Track2竞赛中取得了0.7322 mAP的成绩，位列第三。

ABSTRACT

This paper introduces our solution for the Track2 in AI City Challenge 2020 (AICITY20). The Track2 is a vehicle re-identification (ReID) task with both the real-world data and synthetic data. Our solution is based on a strong baseline with bag of tricks (BoT-BS) proposed in person ReID. At first, we propose a multi-domain learning method to joint the real-world and synthetic data to train the model. Then, we propose the Identity Mining method to automatically generate pseudo labels for a part of the testing data, which is better than the k-means clustering. The tracklet-level re-ranking strategy with weighted features is also used to post-process the results. Finally, with multiple-model ensemble, our method achieves 0.7322 in the mAP score which yields third place in the competition. The codes are available at https://github.com/heshuting555/AICITY2020_DMT_VehicleReID.

研究动机与目标

• 解决真实世界与合成车辆ReID数据集之间的域偏移问题。
• 通过有效利用合成数据（无需外部标注）来提升ReID性能。
• 通过身份挖掘方法自动为测试数据生成准确的伪标签。
• 通过多模型集成与后处理策略，提升模型泛化能力与mAP性能。

提出的方法

• 提出一种多领域学习（MDL）方法，先在真实世界数据与部分合成数据上进行预训练，随后在真实世界数据上进行微调，同时冻结网络的前几层。
• 引入身份挖掘（IM），通过为每个身份选择高置信度样本作为聚类中心，并为相似样本分配伪标签，从而避免低质量聚类。
• 采用基于加权特征的轨迹段重排序策略（WF-TRR），利用时间一致性来优化检索结果。
• 采用来自行人ReID的强基线模型（BoT-BS），并针对车辆ReID对学习率、优化器与损失函数进行调整。
• 采用多模型集成策略，进一步提升单模型结果的性能。

实验结果

研究问题

• RQ1 尽管存在显著的域偏移，合成数据能否被有效利用以提升真实世界车辆ReID性能？
• RQ2 如何在标准k-means聚类之外改进测试数据的伪标签生成，以提升ReID准确率？
• RQ3 与联合训练或在合成数据上预训练相比，采用领域特定微调的多领域学习是否表现更优？
• RQ4 基于轨迹段的加权特征重排序在多大程度上提升了车辆ReID中的mAP性能？

主要发现

• 所提出的MDL方法在CityFlow基准上将mAP从59.3%提升至65.3%，优于联合训练与预训练基线方法。
• 身份挖掘在Split-test上生成的伪标签准确率达98.7%，显著高于k-means聚类的84.0%准确率。
• 基线模型 + IM在CityFlow上达到68.5% mAP，较基线提升3.2%，证明了高置信度伪标签的有效性。
• 完整流水线（包含WF-TRR、MDL、IM与集成）在AICITY2020 Track2中取得0.7322 mAP，位列41支参赛队伍中的第三名。
• 消融实验表明，WF-TRR、MDL、IM与集成各组件对最终mAP的提升均有增量贡献。