[论文解读] Identity Preserving Generative Adversarial Network for Cross-Domain Person Re-identification

Jialun Liu|arXiv (Cornell University)|Nov 28, 2018

Video Surveillance and Tracking Methods参考文献 36被引用 4

一句话总结

本文提出身份保持生成对抗网络（IPGAN），一种新颖的无监督域自适应方法，可将带标签的源域行人图像翻译至目标摄像头域，同时保持身份语义。通过生成身份准确、风格迁移的图像，IPGAN使训练更具泛化能力的重识别模型（IBN-reID）成为可能，在Market-1501和DukeMTMC-reID数据集上分别实现了57.2%和47.0%的rank-1准确率，达到当前最优性能。

ABSTRACT

Person re-identification is to retrieval pedestrian images from no-overlap camera views detected by pedestrian detectors. Most existing person re-identification (re-ID) models often fail to generalize well from the source domain where the models are trained to a new target domain without labels, because of the bias between the source and target domain. This issue significantly limits the scalability and usability of the models in the real world. Providing a labeled source training set and an unlabeled target training set, the aim of this paper is to improve the generalization ability of re-ID models to the target domain. To this end, we propose an image generative network named identity preserving generative adversarial network (IPGAN). The proposed method has two excellent properties: 1) only a single model is employed to translate the labeled images from the source domain to the target camera domains in an unsupervised manner; 2) The identity information of images from the source domain is preserved before and after translation. Furthermore, we propose IBN-reID model for the person re-identification task. It has better generalization ability than baseline models, especially in the cases without any domain adaptation. The IBN-reID model is trained on the translated images by supervised methods. Experimental results on Market-1501 and DukeMTMC-reID show that the images generated by IPGAN are more suitable for cross-domain person re-identification. Very competitive re-ID accuracy is achieved by our method.

研究动机与目标

• 解决行人重识别中的域偏移问题，即在某一领域训练的模型因风格和分布差异而在未见的目标领域上表现不佳。
• 克服现有基于GAN的方法忽略目标域中各摄像头子域级别偏差的局限性。
• 在从源域到目标摄像头域的图像翻译过程中保持身份语义，以确保合成训练数据中的标签一致性。
• 通过利用无监督图像翻译和一种新颖的基于归一化的重识别架构，在无需标注目标域数据的情况下提升模型泛化能力。
• 使用单一生成器和身份不变的翻译方法，在跨域设置下实现具有竞争力的重识别准确率。

提出的方法

• 提出IPGAN，一种基于GAN的图像翻译框架，利用单一生成器和域判别器将图像从源域映射到多个目标摄像头域。
• 引入一种新颖的语义判别器，通过确保真实图像与翻译图像的身份嵌入保持一致，强制实现身份不变性。
• 训练生成器以最小化对抗损失和身份重建损失，确保翻译后的图像与原始图像保持相同身份。
• 使用生成的图像（保留源域标签但采用目标摄像头风格）作为合成训练集，用于监督式重识别模型训练。
• 通过在残差块中整合实例归一化和批归一化，设计IBN-reID模型，以增强外观不变性和特征判别能力。
• 在翻译后的数据上使用监督学习训练IBN-reID模型，以提升其在未见目标域上的泛化能力。

实验结果

研究问题

• RQ1 单一生成模型能否在有效翻译图像至多个不同目标摄像头域的同时，保持身份信息？
• RQ2 在图像翻译过程中强制实施身份不变性是否能显著提升行人重识别模型在未见域上的性能？
• RQ3 IBN-reID模型架构（结合实例归一化与批归一化）在跨域重识别中多大程度上增强了泛化能力？
• RQ4 所提出的基于IPGAN的域自适应方法在准确率和鲁棒性方面与当前最优的无监督重识别方法相比如何？
• RQ5 与标准GAN或循环一致性GAN相比，身份保持的图像翻译是否能更有效地缓解源域与目标摄像头域之间的域偏移？

主要发现

• IPGAN生成的图像在DukeMTMC-reID和Market-1501训练集上的身份分类准确率分别达到97.0%和99.0%，表明其具有强大的身份保持能力。
• 当直接从源域迁移至DukeMTMC-reID时，IBN-reID模型在rank-1准确率上达到32.4%，mAP为17.3%，优于基线模型2.2%和1.2%。
• 通过IPGAN进行数据合成后，IBN-reID模型在Market-1501上达到57.2%的rank-1准确率和28.0%的mAP，超越了现有最佳方法。
• 在DukeMTMC-reID上，该方法实现47.0%的rank-1准确率和27.0%的mAP，较CamStyle方法高出1.9个百分点的mAP。
• IPGAN与IBN-reID的结合实现了最佳整体性能，且在IPGAN生成数据上使用IBN-reID时仅获得微小增益，表明IPGAN已有效缓解了域偏移问题。
• 与StarGAN相比，IPGAN在翻译图像上保持身份语义的能力更强，表现为身份分类准确率显著更高。