[论文解读] Adversarial Camera Alignment Network for Unsupervised Cross-camera Person Re-identification

Lei Qi, Lei Wang+4 more|arXiv (Cornell University)|Aug 2, 2019

Video Surveillance and Tracking Methods参考文献 59被引用 8

一句话总结

本文提出一种对抗性相机对齐网络（ACAN），用于无监督跨摄像头行人重识别，仅利用摄像头内标签通过多摄像头对抗学习实现跨多个摄像头的特征对齐。该方法通过引入一种新颖的‘其他摄像头等概率’（OCE）方案，在五个基准数据集上实现了最先进性能，该方案在多域对齐中优于梯度反传层（GRL）。

ABSTRACT

In person re-identification (Re-ID), supervised methods usually need a large amount of expensive label information, while unsupervised ones are still unable to deliver satisfactory identification performance. In this paper, we introduce a novel person Re-ID task called unsupervised cross-camera person Re-ID, which only needs the within-camera (intra-camera) label information but not cross-camera (inter-camera) labels which are more expensive to obtain. In real-world applications, the intra-camera label information can be easily captured by tracking algorithms or few manual annotations. In this situation, the main challenge becomes the distribution discrepancy across different camera views, caused by the various body pose, occlusion, image resolution, illumination conditions, and background noises in different cameras. To address this situation, we propose a novel Adversarial Camera Alignment Network (ACAN) for unsupervised cross-camera person Re-ID. It consists of the camera-alignment task and the supervised within-camera learning task. To achieve the camera alignment, we develop a Multi-Camera Adversarial Learning (MCAL) to map images of different cameras into a shared subspace. Particularly, we investigate two different schemes, including the existing GRL (i.e., gradient reversal layer) scheme and the proposed scheme called "other camera equiprobability" (OCE), to conduct the multi-camera adversarial task. Based on this shared subspace, we then leverage the within-camera labels to train the network. Extensive experiments on five large-scale datasets demonstrate the superiority of ACAN over multiple state-of-the-art unsupervised methods that take advantage of labeled source domains and generated images by GAN-based models. In particular, we verify that the proposed multi-camera adversarial task does contribute to the significant improvement.

研究动机与目标

• 为解决行人重识别中跨摄像头标注的高成本问题，提出一种新型无监督设置，仅使用摄像头内标签。
• 在不依赖外部标注数据的前提下，减少由姿态、光照和分辨率差异引起的跨摄像头域偏移。
• 开发一种多摄像头对抗学习框架，将多个摄像头的特征对齐到共享子空间。
• 比较 GRL 与一种新颖 OCE 方案在行人 Re-ID 中多域对齐的效率。
• 在真实数据稀疏场景下（如仅单个摄像头捕获部分身份）验证方法的鲁棒性。

提出的方法

• 提出一种对抗性相机对齐网络（ACAN），联合执行相机对齐与摄像头内监督学习。
• 引入多摄像头对抗学习（MCAL），通过域混淆将不同摄像头的图像映射到共享特征空间。
• 采用两种 MCAL 策略：标准的基于 GRL 的方法与一种新颖的 OCE（其他摄像头等概率）方案，以更好地处理多域情况。
• OCE 方案强制使一个摄像头的特征与所有其他摄像头的特征无法区分，从而促进更均衡的域对齐。
• 使用 ResNet50 作为主干网络进行特征提取，并应用 t-SNE 可视化以展示摄像头间特征分布的差异。
• 使用摄像头内标签进行分类训练，同时通过对抗损失实现域对齐，采用端到端优化。

实验结果

研究问题

• RQ1 仅使用摄像头内标签而无需任何跨摄像头标注，行人 Re-ID 模型能否实现高性能？
• RQ2 多摄像头对抗学习在减少多摄像头视图间域偏移方面有多有效？
• RQ3 所提出的 OCE 方案是否在对齐超过两个摄像头的特征方面优于 GRL？
• RQ4 当仅单个摄像头捕获部分身份时，该方法的鲁棒性如何？
• RQ5 所提方法能否泛化到具有大量摄像头和多样化成像条件的大规模数据集？

主要发现

• 在 Market1501 数据集上，ACAN-OCE 达到 47.7% mAP 和 72.2% Rank-1，优于原始训练设置下的基线模型。
• 在 'single-25' 设置下（仅 25% 的身份被单个摄像头捕获），ACAN-OCE 达到 38.4% mAP 和 62.6% Rank-1，表现出对数据稀疏性的强鲁棒性。
• OCE 方案在所有数据集上均持续优于 GRL，尤其在域复杂度更高的多摄像头场景中表现更优。
• 在包含更多摄像头的大规模 MSMT17 数据集上，ACAN 展现出强大的泛化能力，证实其在小规模基准之外的可扩展性。
• 消融实验表明，多摄像头对抗学习组件对性能提升有显著贡献，验证了其设计的有效性。
• 该方法优于多种依赖 GAN 生成伪标签或外部源域的最先进无监督 Re-ID 方法。