[论文解读] When Person Re-identification Meets Changing Clothes

Fangbin Wan, Yang Wu+3 more|arXiv (Cornell University)|Mar 9, 2020

Video Surveillance and Tracking Methods参考文献 26被引用 8

一句话总结

本文首次系统研究了行人重识别（ReID）中的衣物不一致问题，提出了一个真实世界3天、4个摄像头的基准数据集（Real28）以及通过GTA5生成的大规模合成数据集（VC-Clothes），以模拟衣物变化。实验表明，现有ReID模型在衣物不一致情况下性能显著下降，而使用合成的VC-Clothes数据进行微调可显著提升真实世界ReID在衣物变化场景下的性能，在Real28上达到11.0% R@1和10.6% mAP。

ABSTRACT

Person re-identification (ReID) is now an active research topic for AI-based video surveillance applications such as specific person search, but the practical issue that the target person(s) may change clothes (clothes inconsistency problem) has been overlooked for long. For the first time, this paper systematically studies this problem. We first overcome the difficulty of lack of suitable dataset, by collecting a small yet representative real dataset for testing whilst building a large realistic synthetic dataset for training and deeper studies. Facilitated by our new datasets, we are able to conduct various interesting new experiments for studying the influence of clothes inconsistency. We find that changing clothes makes ReID a much harder problem in the sense of bringing difficulties to learning effective representations and also challenges the generalization ability of previous ReID models to identify persons with unseen (new) clothes. Representative existing ReID models are adopted to show informative results on such a challenging setting, and we also provide some preliminary efforts on improving the robustness of existing models on handling the clothes inconsistency issue in the data. We believe that this study can be inspiring and helpful for encouraging more researches in this direction. The dataset is available on the project website: https://wanfb.github.io/dataset.html.

研究动机与目标

• 为解决长期被忽视的行人重识别（ReID）在衣物不一致条件下的问题，该问题会严重影响真实监控场景中模型的泛化能力。
• 解决缺乏大规模、真实感强、同一身份存在显著衣物变化的数据集的问题。
• 评估现有ReID模型在衣物不一致条件下的鲁棒性，并探索提升其性能的方法。
• 证明合成数据在提升ReID模型对未见衣物变化泛化能力方面的有效性。

提出的方法

• 收集了一个真实世界数据集（Real28），包含28名志愿者在3天内、4个摄像头下的拍摄，捕捉自然的衣物变化。
• 利用GTA5游戏引擎生成大规模合成数据集（VC-Clothes），在3D人体模型上模拟多样的衣物变化。
• 提出一种混合特征融合模型（3APF），通过可学习加权平均融合整体ReID特征与人脸特征，其中融合权重为可学习参数w。
• 使用双线性池化层结合外观特征（A(·)）与身体部位特征（P(·)）：f₁(I) = pooling(A(I) ⊗ P(I))。
• 采用人脸检测器（PyramidBox），置信度阈值为0.8，并将边界框向外扩展15像素；使用在MS-1M数据集上预训练的ResNet50进行人脸特征提取。
• 通过微调在VC-Clothes或Market1501上预训练的模型，将其在Real28数据集上进行迁移学习，以提升在衣物不一致ReID场景下的性能。

实验结果

研究问题

• RQ1 衣物不一致在多大程度上影响最先进ReID模型的性能？
• RQ2 合成数据能否有效模拟真实世界的衣物变化，从而提升ReID的泛化能力？
• RQ3 人脸特征在多大程度上可缓解因衣物变化导致的ReID性能下降？
• RQ4 在合成数据上微调是否能提升真实世界ReID在衣物不一致场景下的性能？

主要发现

• 采用人脸特征与ReID特征融合的3APF模型在VC-Clothes数据集上达到82.1% mAP，显著优于仅使用人脸特征（60.8%）或整体特征（79.7%）的模型。
• 直接将VC-Clothes上预训练的模型迁移到Real28上表现极差（R@1为5.2%，mAP为3.6%），表明存在显著的域差距问题。
• 在Market1501上对VC-Clothes预训练模型进行微调（VC-Clothes +FT）后，在Real28上R@1提升至11.0%，mAP提升至10.6%，显示出强大的迁移能力。
• 在Real28上微调也提升了在Market1501上预训练的模型（Market1501 +FT），达到12.4% R@1和7.6% mAP，证实了合成数据在真实世界适应中的有效性。
• 在RGB-D数据集上，VC-Clothes +FT与Market1501 +FT均实现超过50%的R@1，表明在多模态设置下对衣物变化具有鲁棒性。
• 本研究证实，衣物不一致严重挑战现有ReID模型，尤其当模型依赖于基于衣物的外观特征时；强调了学习身份鲁棒特征的必要性。