[论文解读] Crossing Generative Adversarial Networks for Cross-View Person Re-identification

Chengyuan Zhang, Lin Wu+1 more|arXiv (Cornell University)|Jan 4, 2018

Video Surveillance and Tracking Methods参考文献 1被引用 4

一句话总结

本文提出 Cross-GAN，一种新颖的无监督生成对抗网络，用于跨视角行人重识别，通过建模图像对中的共现模式来学习联合不变特征。通过结合变分自编码器、跨视角对齐和双重 GAN，该方法在 VIPeR、CUHK03 和 Market-1501 数据集上实现了最先进性能，且无需使用标注图像对，展示了对视觉变化的鲁棒性以及在真实监控环境中的强大泛化能力。

ABSTRACT

Person re-identification ( extit{re-id}) refers to matching pedestrians across disjoint yet non-overlapping camera views. The most effective way to match these pedestrians undertaking significant visual variations is to seek reliably invariant features that can describe the person of interest faithfully. Most of existing methods are presented in a supervised manner to produce discriminative features by relying on labeled paired images in correspondence. However, annotating pair-wise images is prohibitively expensive in labors, and thus not practical in large-scale networked cameras. Moreover, seeking comparable representations across camera views demands a flexible model to address the complex distributions of images. In this work, we study the co-occurrence statistic patterns between pairs of images, and propose to crossing Generative Adversarial Network (Cross-GAN) for learning a joint distribution for cross-image representations in a unsupervised manner. Given a pair of person images, the proposed model consists of the variational auto-encoder to encode the pair into respective latent variables, a proposed cross-view alignment to reduce the view disparity, and an adversarial layer to seek the joint distribution of latent representations. The learned latent representations are well-aligned to reflect the co-occurrence patterns of paired images. We empirically evaluate the proposed model against challenging datasets, and our results show the importance of joint invariant features in improving matching rates of person re-id with comparison to semi/unsupervised state-of-the-arts.

研究动机与目标

• 通过实现无监督学习跨视角表征，解决监督行人重识别中高标注成本的问题。
• 在不依赖配对训练数据的前提下，建模跨独立摄像头视角的复杂多模态视觉变化。
• 学习一个联合潜在分布，以捕捉正样本图像对中的共现模式，从而改善特征对齐。
• 通过对抗训练和跨视角对齐学习不变特征，提升行人重识别中的匹配准确率。
• 在消除对标注图像对应关系依赖的前提下，实现与监督方法相当的性能。

提出的方法

• 该模型使用变分自编码器（VAE）将图像对编码为解耦的潜在变量，实现对跨视角特征的概率建模。
• 引入跨视角对齐模块，通过对齐不同摄像头视角的潜在表征来减少域偏移。
• 采用双重生成对抗网络（GAN）学习潜在表征上的联合分布，以促进真实且具有判别性的特征合成。
• 对抗训练目标确保生成的潜在特征与真实特征无法区分，从而增强对视觉变化的鲁棒性。
• 框架端到端联合优化 VAE、对齐模块和 GAN，以学习具有不变性且跨视角兼容的特征。
• 模型仅使用图像对（无真实身份标签）进行无监督训练。

实验结果

研究问题

• RQ1 生成模型是否能在不依赖标注图像对的情况下，学习到用于行人重识别的联合跨视角表征？
• RQ2 在缺乏监督的情况下，该方法在捕捉正样本图像对中跨视角共现模式方面的有效性如何？
• RQ3 无监督模型在行人重识别中能在多大程度上实现与最先进监督方法相当的性能？
• RQ4 跨视角对齐在改善复杂视觉变化下的特征对齐与泛化方面发挥何种作用？
• RQ5 在零样本或弱监督设置下，对潜在表征进行对抗训练是否能增强学习特征的判别能力？

主要发现

• 在 VIPeR 数据集上，Cross-GAN 达到 49.28% 的 rank-1 准确率，优于所有半监督/无监督基线方法，且接近监督方法的最先进性能。
• 在 CUHK03 上，Cross-GAN 达到 83.23% 的 rank-1 准确率，在无监督方法中排名第二，仅略逊于半监督的 LSRO 方法（84.62%）。
• 在 Market-1501 上，Cross-GAN 表现具有竞争力，在无监督方法中排名第二，尽管身份间视觉相似度较高，仍展现出强大的泛化能力。
• 通过学习捕捉共现模式的联合潜在分布，该模型显著降低了姿态、光照和视角变化等视觉差异的影响。
• 消融研究证实，VAE、跨视角对齐和 GAN 每个组件均对最终性能有贡献，完整模型优于各组件缺失的变体。
• CMC 曲线显示，Cross-GAN 在三个数据集上均保持一致的性能表现，表明其在多样化监控环境中的鲁棒性与泛化能力。