[论文解读] Intra-Camera Supervised Person Re-Identification

Xiangping Zhu, Xiatian Zhu+4 more|arXiv (Cornell University)|Feb 12, 2020

Video Surveillance and Tracking Methods参考文献 51被引用 6

一句话总结

本文提出了一种新型的相机内监督（Intra-Camera Supervised, ICS）行人重识别范式，通过使用每张相机独立的标签进行模型训练，消除了昂贵的跨相机身份标注需求。该方法引入了多任务多标签嵌入（Multi-task Multi-label Embedding, MATE）框架，在多任务学习设置下通过自我发现机制学习跨相机身份对应关系，在Market-1501数据集上实现了88.7%的rank-1准确率，超越了无监督模型，且在显著降低标注成本的前提下接近完全监督方法的性能。

ABSTRACT

Existing person re-identification (re-id) methods mostly exploit a large set of cross-camera identity labelled training data. This requires a tedious data collection and annotation process, leading to poor scalability in practical re-id applications. On the other hand unsupervised re-id methods do not need identity label information, but they usually suffer from much inferior and insufficient model performance. To overcome these fundamental limitations, we propose a novel person re-identification paradigm based on an idea of independent per-camera identity annotation. This eliminates the most time-consuming and tedious inter-camera identity labelling process, significantly reducing the amount of human annotation efforts. Consequently, it gives rise to a more scalable and more feasible setting, which we call Intra-Camera Supervised (ICS) person re-id, for which we formulate a Multi-tAsk mulTi-labEl (MATE) deep learning method. Specifically, MATE is designed for self-discovering the cross-camera identity correspondence in a per-camera multi-task inference framework. Extensive experiments demonstrate the cost-effectiveness superiority of our method over the alternative approaches on three large person re-id datasets. For example, MATE yields 88.7% rank-1 score on Market-1501 in the proposed ICS person re-id setting, significantly outperforming unsupervised learning models and closely approaching conventional fully supervised learning competitors.

研究动机与目标

• 为解决传统完全监督行人重识别中高昂的标注成本问题，该问题需要大量跨相机身份匹配工作。
• 减轻跨相机身份标注的负担，该标注工作随相机数量和身份数的增加呈二次方增长。
• 开发一种仅依赖每张相机身份标注的可扩展重识别框架，支持并行且无冲突的标注流程。
• 设计一种深度学习模型，能够在无显式跨相机标签的情况下自我发现跨相机身份对应关系。
• 证明ICS行人重识别结合MATE模型可在显著降低标注成本的前提下，实现接近完全监督方法的性能表现。

提出的方法

• 提出相机内监督（ICS）行人重识别范式，其中身份标签按相机视图独立分配，且各相机使用独立的类别空间。
• 引入多任务多标签嵌入（MATE）模型，一种通过多任务学习训练的深度神经网络，可同时为图像在多个相机视图中预测多个身份标签。
• 采用多标签分类头，同步预测所有相机视图下的身份嵌入，从而实现跨视图的身份传递关联。
• 使用对比损失函数，当模型预测不同相机中的特征属于同一身份时，拉近其特征表示。
• 引入课程学习策略结合动态阈值，逐步优化训练过程中的身份关联。
• 利用多相机视图间的隐式传递推理机制，增强跨相机身份发现能力，而无需显式建模传递关系。

实验结果

研究问题

• RQ1 仅使用每张相机的身份标注，能否使行人重识别模型实现高性能，而无需依赖跨相机身份匹配？
• RQ2 在缺乏显式跨相机标签的情况下，多任务多标签学习框架在发现跨相机身份对应关系方面的有效性如何？
• RQ3 与传统完全监督重识别相比，所提出的ICS范式在标注成本方面降低了多少？
• RQ4 在ICS设置下，MATE模型的性能与无监督和完全监督基线相比如何？
• RQ5 传递推理与课程学习对ICS框架中身份关联的鲁棒性与准确率有何影响？

主要发现

• 在ICS行人重识别设置下，MATE模型在Market-1501数据集上达到88.7%的rank-1准确率，显著优于所有无监督和领域自适应基线方法。
• 在MSMT17数据集上，ICS设置结合MATE模型实现了46.0%的rank-1和19.1%的mAP，尽管仅使用每张相机的标签，仍优于无监督和基于追踪的方法。
• 在MSMT17的一个子集上，714个身份的标注成本从完全监督设置下的8个人日降低至2.5个人日，实现3.2倍的效率提升。
• MATE模型在超参数变化下表现稳定，损失权重λ和课程学习阈值均具有较宽的可接受范围，表明其具有良好的鲁棒性且易于训练。
• 显式建模传递身份关联可达到88.9%/71.2%的R1/mAP，与隐式挖掘此类关系所获得的88.7%/71.1%几乎完全一致，证实隐式传递性已足够且更高效。
• ICS范式支持跨相机并行标注，消除了冲突并减少了协调开销，显著提升了大规模监控部署场景下的可扩展性。