[论文解读] FD-GAN: Pose-guided Feature Distilling GAN for Robust Person Re-identification

Yixiao Ge, Zhuowan Li+5 more|arXiv (Cornell University)|Oct 6, 2018

Video Surveillance and Tracking Methods被引用 283

一句话总结

FD-GAN 通过带姿态引导生成和同姿态约束的对比式生成对抗网络框架，学习与身份相关且与姿态无关的特征，在测试时无需额外姿态输入即可实现最先进的行人重识别性能。

ABSTRACT

Person re-identification (reID) is an important task that requires to retrieve a person's images from an image dataset, given one image of the person of interest. For learning robust person features, the pose variation of person images is one of the key challenges. Existing works targeting the problem either perform human alignment, or learn human-region-based representations. Extra pose information and computational cost is generally required for inference. To solve this issue, a Feature Distilling Generative Adversarial Network (FD-GAN) is proposed for learning identity-related and pose-unrelated representations. It is a novel framework based on a Siamese structure with multiple novel discriminators on human poses and identities. In addition to the discriminators, a novel same-pose loss is also integrated, which requires appearance of a same person's generated images to be similar. After learning pose-unrelated person features with pose guidance, no auxiliary pose information and additional computational cost is required during testing. Our proposed FD-GAN achieves state-of-the-art performance on three person reID datasets, which demonstrates that the effectiveness and robust feature distilling capability of the proposed FD-GAN.

研究动机与目标

• 在测试时不依赖辅助姿态信息的情况下，推动在姿态变化下的鲁棒行人重识别。
• 开发一个框架，在蒸馏身份相关特征的同时去除姿态无关信息。
• 在对比学习框架中引入姿态引导的生成与判别器，以正则化特征学习。

提出的方法

• 在每个分支使用一个带图像编码器 E 和图像生成器 G 的孪生网络。
• 用目标姿态图和编码后的身份特征对 G 进行条件化，以在新姿态下合成同一身份的图像。
• 使用身份判别器 D_id 和姿态判别器 D_pd 来正则化生成的图像，使其保留身份并匹配目标姿态。
• 引入同姿态损失，鼓励来自同一身份的两个分支在相同姿态下生成的图像在视觉上相似。
• 加入重建损失以稳定生成器训练，并使用一个用于身份监督的验证分类器 V。
• 分三阶段训练：ReID 基线预训练、带判别器的 FD-GAN 预训练，以及全局端到端微调。

实验结果

研究问题

• RQ1 是否可以在不依赖测试时姿态数据的情况下减小姿态变化对 reID 特征的影响？
• RQ2 带身份和姿态判别器的对抗正则化是否能够有效地蒸馏出姿态无关的身份特征？
• RQ3 同姿态约束是否能在不损害身份判别的前提下提高对姿态变化的鲁棒性？

主要发现

• FD-GAN 在 Market-1501 的 top-1 与 mAP 达到最先进水平（90.5% top-1，77.7% mAP），在 CUHK03（92.6% top-1，91.3% mAP）和 DukeMTMC-reID（80.0% top-1，64.5% mAP）。
• 孪生基线显著优于单分支基线，证明跨分支验证的好处。
• 去除某些组件（如姿态增强、D_id、D_pd、同姿态损失、验证损失）会降低性能，证实各组件的贡献。
• E 与 D_id 之间不共享权重能获得更好性能，表明任务特定特征学习是有利的。
• FD-GAN 生成的图像质量高于某些专门的人体生成方法，且体现出有效的身份保持姿态迁移。