[论文解读] Camera-aware Proxies for Unsupervised Person Re-Identification

Menglin Wang, Baisheng Lai+3 more|arXiv (Cornell University)|Dec 19, 2020

Video Surveillance and Tracking Methods参考文献 38被引用 8

一句话总结

本文提出相机感知代理（Camera-aware Proxies, CAP）用于无监督行人重识别，通过将聚类划分为相机特定的代理来降低类内方差并提升伪标签可靠性。通过引入基于代理平衡采样的相机内与相机间对比学习，CAP 实现了最先进性能，在 MSMT17 上相比次优方法提升 14.3% Rank-1 和 10.2% mAP。

ABSTRACT

This paper tackles the purely unsupervised person re-identification (Re-ID) problem that requires no annotations. Some previous methods adopt clustering techniques to generate pseudo labels and use the produced labels to train Re-ID models progressively. These methods are relatively simple but effective. However, most clustering-based methods take each cluster as a pseudo identity class, neglecting the large intra-ID variance caused mainly by the change of camera views. To address this issue, we propose to split each single cluster into multiple proxies and each proxy represents the instances coming from the same camera. These camera-aware proxies enable us to deal with large intra-ID variance and generate more reliable pseudo labels for learning. Based on the camera-aware proxies, we design both intra- and inter-camera contrastive learning components for our Re-ID model to effectively learn the ID discrimination ability within and across cameras. Meanwhile, a proxy-balanced sampling strategy is also designed, which facilitates our learning further. Extensive experiments on three large-scale Re-ID datasets show that our proposed approach outperforms most unsupervised methods by a significant margin. Especially, on the challenging MSMT17 dataset, we gain $14.3\%$ Rank-1 and $10.2\%$ mAP improvements when compared to the second place. Code is available at: exttt{https://github.com/Terminator8758/CAP-master}.

研究动机与目标

• 为解决无监督行人重识别中因相机视角变化导致的类内方差过大的问题。
• 通过用相机感知代理替代相机无关聚类，提升伪标签可靠性。
• 通过双路对比学习组件增强模型在相机内与跨相机的ID判别能力。
• 设计一种代理平衡采样策略，提升训练稳定性和性能。
• 在完全无监督的Re-ID基准上实现最先进性能，无需任何人工标注数据。

提出的方法

• 该方法将每个相机无关聚类拆分为多个相机感知代理，每个代理代表来自单一相机的实例。
• 引入相机内对比学习组件，通过相机特定的伪身份任务训练模型，以降低方差并提升局部判别能力。
• 设计相机间对比学习组件，通过跨不同相机的正样本与难负样本代理增强全局ID判别能力。
• 采用代理平衡采样策略，确保每个小批量包含多样化的代理，提升训练效率与收敛性。
• 框架通过聚类迭代优化伪标签，并在相机感知代理上端到端使用对比损失更新重识别模型。
• 该方法以端到端自监督方式训练，无需任何真实标签。

实验结果

研究问题

• RQ1 相机感知代理能否降低无监督行人重识别中因相机视角变化引起的类内方差？
• RQ2 将聚类拆分为相机特定代理在多大程度上能提升伪标签质量与模型泛化能力？
• RQ3 在无标注数据条件下，相机内与相机间对比学习组件在多大程度上能增强ID判别能力？
• RQ4 代理平衡采样是否能带来更稳定且高效的无监督Re-ID训练？
• RQ5 基于代理的学习方法能否在大规模基准上超越现有的UDA方法与无监督方法，实现完全无监督的SOTA性能？

主要发现

• 在 MSMT17 数据集上，所提方法相比次优方法实现 Rank-1 准确率提升 14.3% 与 mAP 提升 10.2%，展现出显著性能差距。
• 在 Market-1501 与 DukeMTMC-reID 上，该方法优于所有纯无监督基线模型，在 Market-1501 上分别实现 3.3% Rank-1 与 6.1% mAP 的性能增益。
• 消融实验表明，相机内与相机间对比学习组件均对性能有显著贡献，完整模型相比基线模型有巨大提升。
• t-SNE 可视化显示，完整模型显著提升了类内紧凑性与类间可分性，尤其在具有挑战性的ID对上表现更优。
• 即使在无任何标注数据的情况下，该方法在所有三个数据集上均缩小了超过80%的无监督与全监督Re-ID模型之间的性能差距。
• 当使用真实标签进行训练时，该方法的上限表明，通过更强的主干网络与注意力机制仍有进一步提升空间。