[论文解读] Intra-Inter Camera Similarity for Unsupervised Person Re-Identification

Shiyu Xuan, Shiliang Zhang|arXiv (Cornell University)|Mar 22, 2021

Video Surveillance and Tracking Methods参考文献 27被引用 10

一句话总结

该论文提出了一种名为跨相机内相似性（IICS）的两阶段伪标签方法，用于无监督行人重识别（Re-ID），通过先利用卷积神经网络（CNN）特征在单个相机内进行聚类，再利用跨相机分类得分来减少域偏移，从而提升相似性计算性能。该方法实现了最先进性能，在Market1501数据集上达到89.5%的rank-1准确率，较之前无监督方法高出超过9%，并达到监督迁移学习方法的水平。

ABSTRACT

Most of unsupervised person Re-Identification (Re-ID) works produce pseudo-labels by measuring the feature similarity without considering the distribution discrepancy among cameras, leading to degraded accuracy in label computation across cameras. This paper targets to address this challenge by studying a novel intra-inter camera similarity for pseudo-label generation. We decompose the sample similarity computation into two stage, i.e., the intra-camera and inter-camera computations, respectively. The intra-camera computation directly leverages the CNN features for similarity computation within each camera. Pseudo-labels generated on different cameras train the re-id model in a multi-branch network. The second stage considers the classification scores of each sample on different cameras as a new feature vector. This new feature effectively alleviates the distribution discrepancy among cameras and generates more reliable pseudo-labels. We hence train our re-id model in two stages with intra-camera and inter-camera pseudo-labels, respectively. This simple intra-inter camera similarity produces surprisingly good performance on multiple datasets, e.g., achieves rank-1 accuracy of 89.5% on the Market1501 dataset, outperforming the recent unsupervised works by 9+%, and is comparable with the latest transfer learning works that leverage extra annotations.

研究动机与目标

• 解决无监督行人Re-ID中因特征分布差异导致的相机间域偏移问题，该问题会降低伪标签质量。
• 通过将相似性计算分解为相机内与跨相机两个阶段，提升伪标签的可靠性。
• 通过使用多相机分类器的分类得分作为更鲁棒的特征表示，而非原始CNN特征，来减小相机间的域差距。
• 通过引入自适应实例归一化与批量归一化（AIBN）提升分类器在不同域间的泛化能力，从而增强跨相机相似性的鲁棒性。
• 在不依赖标注源数据或复杂数据增强的前提下，实现完全无监督Re-ID的最先进性能。

提出的方法

• 第一阶段：在每个相机内使用CNN特征计算相机内相似性，通过聚类生成伪标签，用于训练具有共享主干网络的多分支ReID模型。
• 第二阶段：将每个样本表示为C个分类器（每个相机一个）的分类得分向量，该表示形式比原始特征更能抵抗域偏移。
• 利用分类得分向量计算跨相机相似性，即使在外观差异较大的情况下也能实现可靠的跨相机聚类。
• 引入自适应实例归一化与批量归一化（AIBN），以提升分类器在不同相机间的泛化能力，增强跨相机相似性的鲁棒性。
• 分两个阶段训练ReID模型：首先使用相机内伪标签进行训练，然后使用跨相机伪标签进行微调，利用优化后的相似性实现更优的特征学习。
• 在训练过程中应用重排序相似性，进一步提升性能，且不影响推理时间。

实验结果

研究问题

• RQ1 将相似性计算分解为相机内与跨相机两个阶段，是否能提升无监督行人Re-ID中伪标签的质量？
• RQ2 使用多相机分类器的分类得分作为特征表示，是否能有效降低相机间域偏移的影响？
• RQ3 在弱监督设置下，AIBN在多大程度上能提升分类器在不同相机间的泛化能力？
• RQ4 与直接使用原始CNN特征进行端到端相似性计算相比，所提出的跨相机内相似性方法在Re-ID准确率上有何差异？
• RQ5 完全无监督的方法能否实现与使用额外标注的迁移学习方法相当的性能？

主要发现

• 所提出的IICS方法在Market1501数据集上达到89.5%的rank-1准确率，显著优于所有近期无监督方法，提升超过9个百分点。
• 在DukeMTMC-ReID数据集上，IICS达到89.0%的rank-1准确率，显著超过以往无监督方法，并接近监督迁移学习基线模型的性能。
• 在更具挑战性的MSMT17数据集上，IICS仅使用无标签数据即达到56.4%的rank-1准确率，较表现第二好的方法（NRMT）高出11.2个百分点。
• 使用重排序相似性替代余弦相似性后，IICS在MSMT17上的性能提升至73.4%的rank-1准确率，证明了增强相似性计算的有效性。
• 消融实验表明，相机内与跨相机两个阶段均对性能有显著贡献，其中跨相机阶段在减小域偏移方面尤为有效。
• 引入AIBN显著增强了分类器的泛化能力，带来更可靠的跨相机相似性与更高质量的伪标签。