[论文解读] Implicit Sample Extension for Unsupervised Person Re-Identification

Xinyu Zhang, Dongdong Li+6 more|arXiv (Cornell University)|Apr 14, 2022

Video Surveillance and Tracking Methods被引用 8

一句话总结

本文提出隐式样本扩展（ISE），一种新颖的无监督行人重识别方法，通过渐进线性插值（PLI）在嵌入空间的聚类边界周围生成合成支持样本，以减少子聚类和混合聚类错误。通过引入保持标签的对比损失，ISE提升了聚类质量，并在不使用摄像头信息的情况下，在Market-1501上达到84.7% mAP和94.0% top-1准确率，在MSMT17上达到35.0% mAP和64.7% top-1准确率，实现了最先进性能。

ABSTRACT

Most existing unsupervised person re-identification (Re-ID) methods use clustering to generate pseudo labels for model training. Unfortunately, clustering sometimes mixes different true identities together or splits the same identity into two or more sub clusters. Training on these noisy clusters substantially hampers the Re-ID accuracy. Due to the limited samples in each identity, we suppose there may lack some underlying information to well reveal the accurate clusters. To discover these information, we propose an Implicit Sample Extension (\OurWholeMethod) method to generate what we call support samples around the cluster boundaries. Specifically, we generate support samples from actual samples and their neighbouring clusters in the embedding space through a progressive linear interpolation (PLI) strategy. PLI controls the generation with two critical factors, i.e., 1) the direction from the actual sample towards its K-nearest clusters and 2) the degree for mixing up the context information from the K-nearest clusters. Meanwhile, given the support samples, ISE further uses a label-preserving loss to pull them towards their corresponding actual samples, so as to compact each cluster. Consequently, ISE reduces the "sub and mixed" clustering errors, thus improving the Re-ID performance. Extensive experiments demonstrate that the proposed method is effective and achieves state-of-the-art performance for unsupervised person Re-ID. Code is available at: \url{https://github.com/PaddlePaddle/PaddleClas}.

研究动机与目标

• 解决由聚类错误引起的子聚类和混合聚类导致的无监督行人重识别中的伪标签噪声问题。
• 通过恢复因每类样本有限而缺失的潜在信息，提升聚类质量。
• 提出一种无需参数的隐式样本生成方法，增强上下文表征，而无需显式图像空间生成。
• 在不依赖摄像头或领域特定标注的情况下，实现无监督行人重识别的最先进性能。

提出的方法

• ISE通过在嵌入空间中对实际样本与其K近邻聚类中心之间进行渐进线性插值（PLI），生成支持样本。
• PLI使用两个因素控制样本生成：方向（从样本指向K近邻聚类中心）和程度（逐步混合来自邻近聚类的上下文）。
• 引入保持标签（LP）对比损失，将支持样本拉向其原始样本，使聚类更紧凑，减少类间混淆。
• 将支持样本视为真实训练样本，使其可直接参与模型优化，无需额外特征提取。
• 该方法在嵌入空间中隐式运行，避免了基于GAN的图像生成或额外参数的需要。
• 该方法与标准Re-ID框架兼容，可与GeM等池化策略结合，进一步提升性能。

实验结果

研究问题

• RQ1 隐式样本生成是否能通过恢复缺失的跨身份差异，改善无监督行人重识别中的聚类质量？
• RQ2 如何在不引入模型参数或像素空间生成的情况下，生成支持样本以减少子聚类和混合聚类错误？
• RQ3 与基线聚类方法相比，受控上下文混合的渐进插值在多大程度上提升了Re-ID性能？
• RQ4 在存在噪声伪标签的情况下，保持标签损失是否能有效压缩聚类并减少类间混淆？
• RQ5 ISE是否能在不同数据集上泛化并实现最先进性能，而无需使用摄像头或真实身份信息？

主要发现

• 在Market-1501上，ISE达到84.7% mAP和94.0% top-1准确率，优于相同非摄像头设置下的先前最先进方法Cluster-Contrast（82.6% mAP）。
• 在MSMT17上，ISE达到35.0% mAP和64.7% top-1准确率，超过OPLG-HCD（26.9% mAP）、ICE（29.8% mAP）和Cluster-Contrast（33.3% mAP），且未使用摄像头信息。
• 结合GeM池化后，ISE在Market-1501上进一步提升至85.3% mAP和94.3% top-1准确率，显示出强大的域泛化能力，并与先进特征池化方法兼容。
• 在使用真实标签的监督设置中应用时，ISE在Market-1501上达到87.8% mAP和95.6% top-1准确率，优于知名监督方法如PCB和DG-Net。
• 消融实验确认，PLI和保持标签损失均至关重要，每个组件均对性能提升有显著贡献。
• 通过在聚类边界处生成有意义的支持样本，该方法有效减少了子聚类和混合聚类行为，如嵌入空间中的可视化所示。