[论文解读] Progressive Cross-camera Soft-label Learning for Semi-supervised Person Re-identification

Lei Qi, Lei Wang+3 more|arXiv (Cornell University)|Aug 15, 2019

Video Surveillance and Tracking Methods参考文献 65被引用 8

一句话总结

本文提出渐进式跨摄像头软标签学习（PCSL），一种半监督行人重识别框架，通过行人特征的亲和矩阵，从摄像头内标注数据生成跨摄像头软标签。通过交替优化软标签与特征表示（采用加权交叉熵损失和三元组损失），PCSL在五个基准数据集上取得了与监督方法相当的性能，显著优于无监督基线方法，且无需依赖外部数据或生成对抗网络（GAN）生成的图像。

ABSTRACT

In this paper, we focus on the semi-supervised person re-identification (Re-ID) case, which only has the intra-camera (within-camera) labels but not inter-camera (cross-camera) labels. In real-world applications, these intra-camera labels can be readily captured by tracking algorithms or few manual annotations, when compared with cross-camera labels. In this case, it is very difficult to explore the relationships between cross-camera persons in the training stage due to the lack of cross-camera label information. To deal with this issue, we propose a novel Progressive Cross-camera Soft-label Learning (PCSL) framework for the semi-supervised person Re-ID task, which can generate cross-camera soft-labels and utilize them to optimize the network. Concretely, we calculate an affinity matrix based on person-level features and adapt them to produce the similarities between cross-camera persons (i.e., cross-camera soft-labels). To exploit these soft-labels to train the network, we investigate the weighted cross-entropy loss and the weighted triplet loss from the classification and discrimination perspectives, respectively. Particularly, the proposed framework alternately generates progressive cross-camera soft-labels and gradually improves feature representations in the whole learning course. Extensive experiments on five large-scale benchmark datasets show that PCSL significantly outperforms the state-of-the-art unsupervised methods that employ labeled source domains or the images generated by the GAN-based models. Furthermore, the proposed method even has a competitive performance with respect to deep supervised Re-ID methods.

研究动机与目标

• 解决真实世界行人重识别中仅能获得摄像头内标签而缺乏跨摄像头标签的挑战，这些标签通常来自跟踪或最少的人工标注。
• 通过利用潜在的跨摄像头关联关系，无需外部标注源域或合成数据，弥合半监督与全监督Re-ID之间的性能差距。
• 设计一种渐进式学习框架，交替优化软标签与特征表示，以提升模型泛化能力。
• 通过设计对模糊跨摄像头配对导致的误报具有鲁棒性的损失函数，增强对噪声单摄像头样本的鲁棒性。

提出的方法

• 从行人级别的特征构建亲和矩阵，以估计跨摄像头行人嵌入之间的相似性，作为软标签生成的基础。
• 使用加权交叉熵损失，基于亲和矩阵优化分类性能，鼓励正确排序跨摄像头身份。
• 应用加权三元组损失，通过最小化同一身份的行人间距离并最大化不同身份间的距离，增强特征判别能力。
• 实施交替训练策略：首先从当前特征生成软标签，然后使用这些标签重新训练网络，逐步优化特征表示与标签质量。
• 引入渐进式学习方案，迭代改进特征嵌入与软标签置信度，实现稳定且逐步提升的性能。
• 设计鲁棒的训练协议，即使在大量训练身份仅出现在单一摄像头的情况下（模拟噪声或不完整数据）仍能保持性能。

实验结果

研究问题

• RQ1 在行人Re-ID中，是否能仅从摄像头内标注数据有效推断出跨摄像头关系？
• RQ2 在缺乏真实跨摄像头标签的半监督设置下，如何渐进式地优化软标签以改善特征表示？
• RQ3 在使用渐进式软标签进行训练时，哪种损失函数更有效——基于分类的（加权交叉熵）还是基于度量的（加权三元组损失）？
• RQ4 当存在大量仅出现在单一摄像头的个体时，该方法的鲁棒性如何？
• RQ5 该框架是否能在不使用外部数据集或GAN生成图像的情况下，实现与全监督Re-ID方法相当的性能？

主要发现

• 在五个大规模基准数据集上，PCSL仅使用摄像头内标签，就在Market1501上实现了66.9%的mAP和80.1%的Rank-1，优于最先进无监督方法。
• PCSL-C变体（使用加权交叉熵）在Market1501上即使额外增加了200个单摄像头身份，仍达到67.42%的mAP和79.43%的Rank-1，表明对噪声数据具有强鲁棒性。
• PCSL-D（使用加权三元组损失）在相同200个单摄像头身份设置下仅取得61.74%的mAP，表明其对噪声更敏感，说明分类损失更具稳定性。
• 该方法在不同单摄像头身份数量的多种设置下均保持强劲性能，证实其对不完整跨摄像头监督具有高度鲁棒性。
• 消融实验表明，渐进式软标签生成与加权损失组件对性能提升均至关重要，任一组件的移除均导致性能显著下降。