[论文解读] Part-based Pseudo Label Refinement for Unsupervised Person Re-identification

Yoonki Cho, Woo Jae Kim+2 more|arXiv (Cornell University)|Mar 28, 2022

Video Surveillance and Tracking Methods被引用 14

一句话总结

该论文提出基于部分的伪标签优化（PPLR），一种自集成无监督行人重识别方法，通过利用全局特征与部分特征之间的互补关系，减少噪声伪标签。通过引入基于k近邻相似性的交叉一致度分数，PPLR利用部分特征预测来优化全局伪标签，并对部分特征应用一致度感知的标签平滑，从而在Market-1501、MSMT17和VeRi-776上实现最先进性能。

ABSTRACT

Unsupervised person re-identification (re-ID) aims at learning discriminative representations for person retrieval from unlabeled data. Recent techniques accomplish this task by using pseudo-labels, but these labels are inherently noisy and deteriorate the accuracy. To overcome this problem, several pseudo-label refinement methods have been proposed, but they neglect the fine-grained local context essential for person re-ID. In this paper, we propose a novel Part-based Pseudo Label Refinement (PPLR) framework that reduces the label noise by employing the complementary relationship between global and part features. Specifically, we design a cross agreement score as the similarity of k-nearest neighbors between feature spaces to exploit the reliable complementary relationship. Based on the cross agreement, we refine pseudo-labels of global features by ensembling the predictions of part features, which collectively alleviate the noise in global feature clustering. We further refine pseudo-labels of part features by applying label smoothing according to the suitability of given labels for each part. Thanks to the reliable complementary information provided by the cross agreement score, our PPLR effectively reduces the influence of noisy labels and learns discriminative representations with rich local contexts. Extensive experimental results on Market-1501 and MSMT17 demonstrate the effectiveness of the proposed method over the state-of-the-art performance. The code is available at https://github.com/yoonkicho/PPLR.

研究动机与目标

• 解决无监督行人重识别中伪标签固有的噪声问题，该问题会降低模型性能。
• 克服现有方法仅依赖全局特征、忽略细粒度局部上下文的局限性。
• 利用全局特征与部分特征之间的互补关系，提高标签可靠性与表征学习能力。
• 设计一种无需辅助网络的自集成框架，以降低计算成本同时保持高精度。
• 提出一种可靠机制，识别全局与部分特征之间的可信互补信息，避免因遮挡或背景伪影引入噪声。

提出的方法

• 基于全局特征与部分特征的k近邻集合之间的相似性，设计一种交叉一致度分数，用于度量可靠的互补关系。
• 实施部分引导的标签优化（PGLR），通过聚合多个部分特征的预测结果来优化全局伪标签，增强局部上下文的利用。
• 应用一致度感知的标签平滑（AALS），通过交叉一致度分数校准置信度分布，以优化部分特征的伪标签。
• 采用自教学、同伴集成的训练方案，使全局与部分特征相互优化其伪标签，无需依赖辅助网络。
• 将优化后的伪标签整合到对比学习目标中，以提升特征判别能力，并通过消融实验验证各组件的贡献。
• 通过均匀划分特征图的方式实现部分特征提取，但该方法承认由于图像中身体部位错位导致的局限性。

实验结果

研究问题

• RQ1 能否有效利用全局与部分特征之间的互补关系，以减少无监督行人重识别中的伪标签噪声？
• RQ2 如何识别全局与部分特征之间可靠的互补信息，以避免因无关或遮挡区域而传播噪声？
• RQ3 通过交叉一致度优化全局与部分伪标签，是否能相比仅优化全局特征的方法，显著提升整体重识别性能？
• RQ4 基于交叉一致度的自集成框架能否在不使用辅助网络或复杂架构的情况下，超越最先进方法？
• RQ5 在无标注数据条件下，具有丰富局部上下文的特征在多大程度上增强表征学习的鲁棒性与判别能力？

主要发现

• PPLR在Market-1501、MSMT17和VeRi-776上均达到最先进性能，分别较之前SOTA方法RLCC提升+3.8%、+3.5%和+2.0%的mAP。
• 在Market-1501和MSMT17上，PPLR分别较使用相机感知对比学习的强SOTA方法ICE提升+2.1%和+3.3%的mAP。
• 消融实验表明，部分引导的标签优化与一致度感知的标签平滑均对性能提升有显著贡献，其中交叉一致度分数在降噪中起关键作用。
• 该方法通过利用部分特征作为可靠信号来优化全局特征聚类，有效缓解了标签噪声，尤其在姿态与视角变化情况下表现更优。
• 交叉一致度分数成功识别出可靠的互补信号，过滤掉如遮挡或背景物体等噪声或无关部分特征。
• 该框架在无需辅助网络的情况下实现高性能，表明基于部分-全局互补性的自集成学习，是多主干教师-学生方案更高效且更有效的替代方案。