[论文解读] Leveraging Virtual and Real Person for Unsupervised Person Re-identification

Fengxiang Yang, Zhun Zhong+3 more|arXiv (Cornell University)|Nov 5, 2018

Video Surveillance and Tracking Methods参考文献 12被引用 4

一句话总结

该论文提出了一种新颖的无监督行人重识别框架，利用合成（虚拟）和真实行人图像在无标签的情况下训练深度重识别模型。它通过基于GAN的姿态和风格迁移生成伪标签的虚拟行人图像，然后通过协同过滤从真实数据中迭代挖掘可靠的正样本对，在Market-1501和DukeMTMC-reID数据集上实现了最先进性能。

ABSTRACT

Person re-identification (re-ID) is a challenging problem especially when no labels are available for training. Although recent deep re-ID methods have achieved great improvement, it is still difficult to optimize deep re-ID model without annotations in training data. To address this problem, this study introduces a novel approach for unsupervised person re-ID by leveraging virtual and real data. Our approach includes two components: virtual person generation and training of deep re-ID model. For virtual person generation, we learn a person generation model and a camera style transfer model using unlabeled real data to generate virtual persons with different poses and camera styles. The virtual data is formed as labeled training data, enabling subsequently training deep re-ID model in supervision. For training of deep re-ID model, we divide it into three steps: 1) pre-training a coarse re-ID model by using virtual data; 2) collaborative filtering based positive pair mining from the real data; and 3) fine-tuning of the coarse re-ID model by leveraging the mined positive pairs and virtual data. The final re-ID model is achieved by iterating between step 2 and step 3 until convergence. Experimental results on two large-scale datasets, Market-1501 and DukeMTMC-reID, demonstrate the effectiveness of our approach and shows that the state of the art is achieved in unsupervised person re-ID.

研究动机与目标

• 解决在缺乏标注训练数据的情况下训练深度行人重识别模型的挑战。
• 提升在大规模数据集上无监督重识别的性能，其中手工设计特征已失效。
• 仅使用未标注的真实数据和合成的虚拟数据，实现监督式训练深度重识别模型。
• 开发一种从未标注真实数据中挖掘可靠正样本对的稳健方法。
• 在基准数据集上实现无监督行人重识别的最先进性能。

提出的方法

• 使用DPG-GAN生成虚拟行人图像以实现姿态变化，使用Star-GAN实现相机风格迁移，从而创建伪标签训练数据。
• 在生成的虚拟数据上使用身份分类损失（L_cls）预训练一个粗粒度的重识别模型。
• 利用预训练模型提取特征，并在真实数据上计算k-互近邻（k-RNNs），以获得初始正样本对候选。
• 采用基于协同过滤的方法过滤掉虚假正样本对，从真实数据中筛选出高置信度的正样本对。
• 使用结合虚拟数据上的L_cls和挖掘出的真实正样本对上的三元组损失的多任务损失进行模型微调。
• 在正样本对挖掘与模型微调之间迭代进行，直至收敛，从而提升模型的鲁棒性和准确性。

实验结果

研究问题

• RQ1 在缺乏真实标注的情况下，带有伪标签的合成虚拟行人图像是否能有效预训练深度重识别模型？
• RQ2 协同过滤能否提升从未标注真实数据中挖掘正样本对的质量？
• RQ3 将虚拟数据与优化后的真实数据对结合，是否能带来在大规模重识别基准上的更好泛化能力和性能？
• RQ4 该方法对超参数（如虚拟数据规模、批量大小和损失权重）的敏感性如何？
• RQ5 所提出的框架是否能在不使用任何标注数据的情况下实现无监督行人重识别的最先进性能？

主要发现

• 所提方法在无监督设置下的Market-1501和DukeMTMC-reID数据集上实现了最先进性能，优于现有方法。
• 与随机选择相比，基于协同过滤的挖掘方法在Market-1501和DukeMTMC-reID上的rank-1准确率分别提升了6.6%和2.9%。
• 挖掘出的正样本对准确率从随机选择的29.0%和14.5%提升至协同过滤的67.5%和40.5%，证实了样本对质量的显著提高。
• 当虚拟数据集规模达到Market-1501和DukeMTMC-reID分别对应每行人36和48个身份时，模型性能趋于饱和。
• 多任务训练中最佳损失权重（λ）约为1，此时分类损失与三元组损失对性能的贡献相当。
• 该方法对k和批量大小（N_r）的变化具有鲁棒性，在测试的各类配置下性能波动极小。