[论文解读] Going Deeper into Semi-supervised Person Re-identification

Olga Moskvyak, Frédéric Maire+2 more|arXiv (Cornell University)|Jul 24, 2021

Video Surveillance and Tracking Methods参考文献 48被引用 6

一句话总结

该论文提出了一种新颖的半监督行人重识别方法，利用单个CNN生成的基于部件的嵌入进行共识聚类，以分配伪标签，且无需事先知道未标记数据中的身份数量。该方法引入了PartMixUp损失以增强特征的可分性，在仅使用1/3身份标记的情况下实现了最先进性能，其准确率与全监督模型相当，同时降低了计算成本。

ABSTRACT

Person re-identification is the challenging task of identifying a person across different camera views. Training a convolutional neural network (CNN) for this task requires annotating a large dataset, and hence, it involves the time-consuming manual matching of people across cameras. To reduce the need for labeled data, we focus on a semi-supervised approach that requires only a subset of the training data to be labeled. We conduct a comprehensive survey in the area of person re-identification with limited labels. Existing works in this realm are limited in the sense that they utilize features from multiple CNNs and require the number of identities in the unlabeled data to be known. To overcome these limitations, we propose to employ part-based features from a single CNN without requiring the knowledge of the label space (i.e., the number of identities). This makes our approach more suitable for practical scenarios, and it significantly reduces the need for computational resources. We also propose a PartMixUp loss that improves the discriminative ability of learned part-based features for pseudo-labeling in semi-supervised settings. Our method outperforms the state-of-the-art results on three large-scale person re-id datasets and achieves the same level of performance as fully supervised methods with only one-third of labeled identities.

研究动机与目标

• 为解决现实世界中受限标记数据下的行人重识别挑战。
• 消除对未标记数据中身份数量的假设，这在实际部署中不切实际。
• 通过避免使用集成模型或多CNN，降低计算成本。
• 通过语义部件嵌入的共识聚类提高伪标签质量。
• 通过新型PartMixUp损失函数增强特征可分性。

提出的方法

• 使用单个CNN从图像中提取基于部件的嵌入，避免使用多个网络或复杂的部件检测器。
• 在语义部件（如水平条纹）之间应用共识聚类，以分配伪标签，且无需假设身份数量。
• 采用PartMixUp损失，通过混合来自不同身份的语义部件嵌入，在训练过程中生成难负样本。
• 在嵌入层面而非输入图像层面进行混合，使该方法可应用于标记和未标记数据。
• 使用互不重叠的身份进行混合，以防止数据泄露并确保有效负样本对。
• 采用层次聚类并动态估计聚类数量，避免预设聚类数。

实验结果

研究问题

• RQ1 基于部件嵌入的共识聚类是否能在不假设未标记身份数量的前提下，改善半监督行人重识别中的伪标签分配？
• RQ2 所提出的PartMixUp损失与三元组损失相比，在提升基于部件嵌入的特征可分性方面表现如何？
• RQ3 在低标记数据设置下，仅使用单个CNN结合基于部件的特征与共识聚类，是否能优于多CNN或集成方法？
• RQ4 共识聚类中不同一致阈值的影响如何？对聚类质量和重识别准确率有何影响？
• RQ5 该方法在不同数据集和不同标记比例下表现如何，特别是在1/3标记数据设置下？

主要发现

• 所提方法在仅1/3身份标记的Market-1501数据集上达到91.5%的rank-1准确率，与全监督模型性能相当。
• 部件嵌入的共识聚类获得0.85的Rand Index，优于拼接（0.82）和单个部件聚类（0.79–0.80）。
• 共识聚类中要求100%一致（全部6个部件一致）时性能最佳，当仅4/6个部件一致时准确率降至87.5%，3/6一致时降至81.9%。
• PartMixUp损失在全监督设置下将PCB模型的mAP从77.4%提升至78.2%，在半监督设置下从76.2%提升至76.7%（Market-1501）。
• 层次聚类优于亲和传播和DBSCAN，在Market-1501（1/3标记）上达到88.1% rank-1和72.6% mAP，而DBSCAN未能检测到有意义的聚类。
• 该方法可与任意CNN主干网络兼容，并相比多网络集成显著降低了计算成本。