[论文解读] Learning Disentangled Representation for Robust Person Re-identification

Chanho Eom, Bumsub Ham|arXiv (Cornell University)|Oct 26, 2019

Video Surveillance and Tracking Methods被引用 36

一句话总结

IS-GAN 在不依赖辅助信号的情况下学习解耦的身份相关特征和身份无关特征，利用身份置换在标准 reID 基准上实现最先进的结果。

ABSTRACT

We address the problem of person re-identification (reID), that is, retrieving person images from a large dataset, given a query image of the person of interest. A key challenge is to learn person representations robust to intra-class variations, as different persons can have the same attribute and the same person's appearance looks different with viewpoint changes. Recent reID methods focus on learning discriminative features but robust to only a particular factor of variations (e.g., human pose), which requires corresponding supervisory signals (e.g., pose annotations). To tackle this problem, we propose to disentangle identity-related and -unrelated features from person images. Identity-related features contain information useful for specifying a particular person (e.g., clothing), while identity-unrelated ones hold other factors (e.g., human pose, scale changes). To this end, we introduce a new generative adversarial network, dubbed \emph{identity shuffle GAN} (IS-GAN), that factorizes these features using identification labels without any auxiliary information. We also propose an identity-shuffling technique to regularize the disentangled features. Experimental results demonstrate the effectiveness of IS-GAN, significantly outperforming the state of the art on standard reID benchmarks including the Market-1501, CUHK03 and DukeMTMC-reID. Our code and models are available online: https://cvlab-yonsei.github.io/projects/ISGAN/.

研究动机与目标

• 在同一身份内部变化大、视角变化显著的情况下推动鲁棒的行人重识别。
• 仅用身份标签将身份相关信息与身份无关因素解耦。
• 提出一种基于GAN的框架（IS-GAN），通过身份置换来规整解耦。
• 通过消融研究在标准基准上展示改进的 reID 性能。

提出的方法

• 提出在 GAN 框架内的身份相关特征编码器和身份无关特征编码器。
• 通过学习同一身份的图像对来解耦特征，且不需要额外监督。
• 使用身份置换机制，通过在不同图像以及水平身体部位区域之间交换身份相关特征来生成图像。
• 使用域信息和类别信息两类判别器进行训练，以确保合成图像的真实感与正确的身份标注。
• 优化一个综合损失，包括识别损失、对无关特征的 KL 正则化，以及基于重建与对抗的损失（L_S, L_PS, L_D, L_C）。

实验结果

研究问题

• RQ1 仅使用识别标签且无辅助信号，身份相关与身份无关特征能否解耦？
• RQ2 全图与部位级区域的身份置换是否提升对姿态、遮挡和背景混乱的鲁棒性？
• RQ3 解耦后的特征如何促进在标准基准上的 reID 性能提升？
• RQ4 提出的判别器和损失分量对特征解耦与检索精度的影响？

主要发现

方法	Market-1501 Rank-1	Market-1501 mAP	CUHK03 Rank-1	CUHK03 mAP	DukeMTMC-reID Rank-1	DukeMTMC-reID mAP
IS-GAN	95.2	87.1	74.1	72.5	72.3	68.8

• IS-GAN 在 Market-1501 上达到最先进的 Rank-1 与 mAP（95.2% R1, 87.1% mAP）。
• IS-GAN 在 CUHK03（74.1% R1, 72.5% mAP）和 DukeMTMC-reID（72.3% R1, 68.8% mAP）等报道结果中表现强劲。
• 消融研究表明，结合身份置换的身份解耦在各数据集上提升性能。
• 部分级身份置换相比全图置换进一步提升 reID 精度。
• 用于域和类别信息的判别器补充解耦损失以达到最佳整体结果。
• IS-GAN 通过学习的身份相关特征展现对姿态变化、遮挡和背景混乱的鲁棒性。