[论文解读] Joint Discriminative and Generative Learning for Person Re-identification

Zhedong Zheng, Xiaodong Yang+4 more|arXiv (Cornell University)|Apr 15, 2019

Video Surveillance and Tracking Methods参考文献 55被引用 86

一句话总结

DG-Net 同时学习判别性再识别嵌入和一个生成模型，通过交换外观和结构编码来生成跨身份和同一身份图像，在多个基准上达到先进水平。该框架使用在线生成数据在端到端循环中持续改进外观编码器和 re-id 学习。

ABSTRACT

Person re-identification (re-id) remains challenging due to significant intra-class variations across different cameras. Recently, there has been a growing interest in using generative models to augment training data and enhance the invariance to input changes. The generative pipelines in existing methods, however, stay relatively separate from the discriminative re-id learning stages. Accordingly, re-id models are often trained in a straightforward manner on the generated data. In this paper, we seek to improve learned re-id embeddings by better leveraging the generated data. To this end, we propose a joint learning framework that couples re-id learning and data generation end-to-end. Our model involves a generative module that separately encodes each person into an appearance code and a structure code, and a discriminative module that shares the appearance encoder with the generative module. By switching the appearance or structure codes, the generative module is able to generate high-quality cross-id composed images, which are online fed back to the appearance encoder and used to improve the discriminative module. The proposed joint learning framework renders significant improvement over the baseline without using generated data, leading to the state-of-the-art performance on several benchmark datasets.

研究动机与目标

• 通过利用生成数据来降低同一身份内的变异。
• 将判别学习和生成学习耦合在一个网络中，实现端到端优化。
• 学习解耦的外观与结构编码，以实现可控的图像生成。
• 通过对生成图像的在线反馈来改进 re-id 嵌入。

提出的方法

• 生成模块包含外观编码 Ea、结构编码 Es、解码器 G 和鉴别器 D，通过交换外观和结构编码来生成图像。
• 两种生成策略：自身份生成（从自身图像以及同一身份的另一张图像重建图像）和跨身份生成（以一个外观编码和不同结构编码生成图像）。
• 潜在码监督包括外观和结构重建、像素级 L1 图像重建损失，以及潜在码重建以强制一致性。
• 跨身份生成包括基于外观码的身份监督和对抗损失以使合成数据与真实数据分布对齐。
• 判别模块以 Ea 作为骨干网络，设有两个头用于主要特征学习和细粒度特征挖掘，由教师模型动态标注的合成样本引导。
• 优化结合图像与码重建损失、身份损失、对抗损失以及两个判别损失，使用精心设计的权重调度以稳定训练。

实验结果

研究问题

• RQ1 端到端耦合判别学习和生成学习是否通过使生成数据更符合任务需求来提升 re-id 性能？
• RQ2 如何通过解耦的外观与结构编码实现可控生成，覆盖用于 re-id 训练的同一身份内和跨身份变异？
• RQ3 来自合成跨身份图像对外观编码器的在线反馈是否持续提升 re-id 嵌入质量？
• RQ4 使用生成数据时，主要特征学习与细粒度特征挖掘对 re-id 准确率有何影响？

主要发现

• 所提出的 DG-Net 在基准数据集上实现了最先进的 re-id 性能，超越基线和竞争方法。
• 交换外观或结构编码的生成图像真实且多样，消融研究显示若无在线反馈或身份监督则质量下降。
• 两阶段判别策略（主要特征学习和细粒度特征挖掘）在利用合成数据的情况下相对于基线 re-id 模型带来显著提升。
• 端到端联合训练配合在线生成数据比仅在离线生成样本上训练提供更大提升。
• 定量结果在 Market-1501、DukeMTMC-reID、MSMT17 上的 Rank@1 和 mAP 显著提升，DG-Net 达到领先分数且无需后处理。