[论文解读] Apparel-invariant Feature Learning for Apparel-changed Person Re-identification

Zhengxu Yu, Yilun Zhao+6 more|arXiv (Cornell University)|Aug 14, 2020

Video Surveillance and Tracking Methods参考文献 48被引用 5

一句话总结

本文提出了一种半监督的服装不变特征学习（AIFL）框架，通过利用一种新颖的无监督服装模拟生成对抗网络（AS-GAN），合成逼真的换装图像，以提升在服装变化情况下的行人重识别性能。该方法通过在真实和合成图像对上进行训练，增强了特征的鲁棒性，在MSMT17和C-MARS数据集上实现了显著的mAP和CMC性能提升，且无需大量人工标注。

ABSTRACT

With the rise of deep learning methods, person Re-Identification (ReID) performance has been improved tremendously in many public datasets. However, most public ReID datasets are collected in a short time window in which persons' appearance rarely changes. In real-world applications such as in a shopping mall, the same person's clothing may change, and different persons may wearing similar clothes. All these cases can result in an inconsistent ReID performance, revealing a critical problem that current ReID models heavily rely on person's apparels. Therefore, it is critical to learn an apparel-invariant person representation under cases like cloth changing or several persons wearing similar clothes. In this work, we tackle this problem from the viewpoint of invariant feature representation learning. The main contributions of this work are as follows. (1) We propose the semi-supervised Apparel-invariant Feature Learning (AIFL) framework to learn an apparel-invariant pedestrian representation using images of the same person wearing different clothes. (2) To obtain images of the same person wearing different clothes, we propose an unsupervised apparel-simulation GAN (AS-GAN) to synthesize cloth changing images according to the target cloth embedding. It's worth noting that the images used in ReID tasks were cropped from real-world low-quality CCTV videos, making it more challenging to synthesize cloth changing images. We conduct extensive experiments on several datasets comparing with several baselines. Experimental results demonstrate that our proposal can improve the ReID performance of the baseline models.

研究动机与目标

• 解决行人重识别中模型过度依赖服装特征而导致在服装变化或穿着相似服装时性能下降的关键局限性。
• 开发一种方法，学习在长期重识别场景（如购物中心）中依然保持鲁棒的服装不变表征。
• 通过使用仅需少量标注数据的半监督框架，减少对昂贵人工标注的依赖。
• 构建一个逼真的图像合成流程，利用生成对抗网络（GAN）从低质量的闭路电视（CCTV）图像中模拟服装变化。
• 提升真实场景中服装变化普遍存在的行人重识别模型的泛化能力和鲁棒性。

提出的方法

• 提出一种无监督的服装模拟生成对抗网络（AS-GAN），利用目标服装嵌入生成同一人穿着不同衣物的逼真图像。
• 在AS-GAN的生成器中引入一种改进的残差块，以提升图像真实感和特征质量，替代标准的Conv2d块。
• 设计一种半监督的AIFL框架，使用真实图像和AS-GAN生成的图像对初始化行人重识别特征提取器。
• 在AIFL中引入一个域判别器$D_T$，以对齐真实域与合成域的特征，增强特征的泛化能力。
• 采用两阶段训练流程：首先在图像对上预训练AS-GAN，然后使用这些图像对初始化ReID模型，再在真实数据上进行微调。
• 通过采样多组合成图像对实现数据量扩展，逐步提升模型性能。

实验结果

研究问题

• RQ1 基于GAN的图像合成方法能否有效从低质量的闭路电视（CCTV）图像中生成逼真的换装图像，以用于ReID的数据增强？
• RQ2 使用合成与真实图像对进行半监督训练，是否能有效提升行人重识别中的服装不变特征学习？
• RQ3 在AIFL中引入域判别器$D_T$如何影响所学习ReID特征的鲁棒性与泛化能力？
• RQ4 在不引入分布偏移的前提下，增加合成图像对的数量在多大程度上能提升ReID性能？
• RQ5 所提出的方法能否在保持或提升mAP和CMC指标的同时，减少对人工标注数据的依赖？

主要发现

• 采用改进AS-GAN生成器的AIFL框架在MSMT17数据集上实现了35.24%的mAP和65.96%的CMC@1，优于基线模型。
• 在AS-GAN中使用改进的残差块显著提升了图像真实感，从而进一步增强了AIFL框架的性能，相较于标准Conv2d块表现更优。
• 在AIFL中移除域判别器$D_T$后性能显著下降，mAP从35.24%降至31.61%，证明其在域对齐中的关键作用。
• 将合成图像对的数量从1组增加到5组后，MSMT17上的mAP从30.80%提升至35.24%，证实了该方法的可扩展性。
• 该方法有效降低了对标注数据的依赖，因为合成数据生成后仅需少量人工标注，使其在真实场景部署中更具实用性。