[论文解读] Semantics-Guided Clustering with Deep Progressive Learning for Semi-Supervised Person Re-identification

Chih‐Ting Liu, Yu-Jhe Li+2 more|arXiv (Cornell University)|Oct 2, 2020

Video Surveillance and Tracking Methods参考文献 44被引用 8

一句话总结

该论文提出了一种新型半监督行人重识别框架——语义引导渐进式学习聚类（SGC-DPL），通过语义感知的亲和力传播（SG-AP）方法，利用已标注数据引导未标注数据的伪标签生成，实现无需预先知晓聚类数量或标注数据比例的渐进式、迭代式优化。该方法在Market-1501和DukeMTMC-re-ID数据集上达到最先进性能，在1/3监督设置下实现82.2%的rank-1准确率，接近全监督性能。

ABSTRACT

Person re-identification (re-ID) requires one to match images of the same person across camera views. As a more challenging task, semi-supervised re-ID tackles the problem that only a number of identities in training data are fully labeled, while the remaining are unlabeled. Assuming that such labeled and unlabeled training data share disjoint identity labels, we propose a novel framework of Semantics-Guided Clustering with Deep Progressive Learning (SGC-DPL) to jointly exploit the above data. By advancing the proposed Semantics-Guided Affinity Propagation (SG-AP), we are able to assign pseudo-labels to selected unlabeled data in a progressive fashion, under the semantics guidance from the labeled ones. As a result, our approach is able to augment the labeled training data in the semi-supervised setting. Our experiments on two large-scale person re-ID benchmarks demonstrate the superiority of our SGC-DPL over state-of-the-art methods across different degrees of supervision. In extension, the generalization ability of our SGC-DPL is also verified in other tasks like vehicle re-ID or image retrieval with the semi-supervised setting.

研究动机与目标

• 解决实际但具有挑战性的半监督行人重识别场景，即已标注与未标注身份互不重叠。
• 克服现有方法需已知聚类数量（K）或启发式阈值进行伪标签分配的局限性。
• 提出一种渐进式学习策略，基于已标注数据的语义引导，动态选择可靠的未标注样本。
• 通过迭代优化伪标签与聚类过程，利用已标注集的反馈提升模型泛化能力与性能。
• 不仅在行人重识别中验证方法有效性，还拓展至其他任务（如车辆重识别与细粒度图像检索）的半监督设置。

提出的方法

• 提出语义引导亲和力传播（SG-AP）聚类方法，利用已标注数据引导未标注数据聚类，无需预先知晓聚类数量。
• 引入渐进式学习策略，基于从已标注集动态更新的可靠性阈值，逐步将伪标签分配给未标注数据。
• 使用随迭代过程递增的阈值τ，逐步扩大可靠伪标签样本集合，减少初始聚类阶段的错误传播。
• 通过迭代优化深度卷积神经网络主干网络与伪标签生成过程，已标注数据生成的改进嵌入特征提升聚类准确性。
• 采用置信度加权的软伪标签分配策略，降低早期聚类结果中的噪声影响。
• 通过复用相同主干网络与训练协议，将框架适配至其他任务（如车辆重识别、图像检索），验证其泛化能力。

实验结果

研究问题

• RQ1 当已标注与未标注身份互不重叠时，半监督重识别框架能否在未知身份数量的前提下有效利用未标注数据？
• RQ2 如何实现渐进且可靠的伪标签分配，以避免由噪声初始聚类导致的错误累积？
• RQ3 在弱监督设置下，已标注数据提供的语义引导在多大程度上能提升聚类质量与下游重识别性能？
• RQ4 所提出的渐进式学习策略是否优于使用固定阈值或已知K值的K-means方法？
• RQ5 SGC-DPL框架能否在行人重识别之外的其他重识别与检索任务中实现良好泛化？

主要发现

• 在仅1/3身份已标注的Market-1501数据集中，SGC-DPL实现82.2%的rank-1准确率与66.5%的mAP，接近全监督设置下的85.5% rank-1与71.3% mAP。
• 该方法在所有监督水平下均优于当前最先进半监督重识别方法，包括仅1/12身份已标注的极端低资源设置。
• SGC-DPL性能在第5轮迭代后收敛，支持在最终实现中采用t=8轮迭代以增强鲁棒性。
• 可视化结果表明，初始聚类存在错误，但渐进策略能逐步识别出可靠样本（以红圈标记），随时间推移提升伪标签准确性。
• 该框架在其他任务上也表现出良好泛化能力：在VeRi-776车辆重识别与CUB-200细粒度图像检索任务中，半监督设置下均取得优异结果。
• 消融实验证实，结合已标注数据、SG-AP与渐进式学习三者可获得最佳性能，各组件对最终性能提升均有显著贡献。