[论文解读] View Confusion Feature Learning for Person Re-identification

Fangyi Liu, Lei Zhang|arXiv (Cornell University)|Oct 9, 2019

Video Surveillance and Tracking Methods参考文献 34被引用 13

一句话总结

本文提出视图混淆特征学习（VCFL），一种端到端深度学习框架，通过对抗性训练、基于特征中心的混淆以及SIFT引导监督，学习视图不变特征，从而提升行人重识别性能。VCFL在CUHK01、CUHK03和MARKET1501数据集上均取得最先进性能，mAP得分分别为90.94%、93.97%和74.48%，展现出对视图变化的卓越鲁棒性。

ABSTRACT

Person re-identification is an important task in video surveillance that aims to associate people across camera views at different locations and time. View variability is always a challenging problem seriously degrading person re-identification performance. Most of the existing methods either focus on how to learn view invariant feature or how to combine view-wise features. In this paper, we mainly focus on how to learn view-invariant features by getting rid of view specific information through a view confusion learning mechanism. Specifically, we propose an end-toend trainable framework, called View Confusion Feature Learning (VCFL), for person Re-ID across cameras. To the best of our knowledge, VCFL is originally proposed to learn view-invariant identity-wise features, and it is a kind of combination of view-generic and view-specific methods. Classifiers and feature centers are utilized to achieve view confusion. Furthermore, we extract sift-guided features by using bag-of-words model to help supervise the training of deep networks and enhance the view invariance of features. In experiments, our approach is validated on three benchmark datasets including CUHK01, CUHK03, and MARKET1501, which show the superiority of the proposed method over several state-of-the-art approaches

研究动机与目标

• 为解决行人重识别中因相机角度和姿态差异导致的视图可变性问题，该问题会降低性能。
• 通过从深度特征中消除视图特异性信息，学习对视图变化不变的身份特定特征。
• 通过统一框架结合视图通用与视图特异性模型的优势，提升特征鲁棒性。
• 通过在训练过程中引入基于词袋模型的手工SIFT特征，提升深度特征质量。
• 开发统一损失函数，通过多种互补机制强制实现视图混淆。

提出的方法

• 引入视图混淆机制，其中视图分类器与特征提取器进行对抗性训练，防止其识别相机视图，从而促进学习视图不变特征。
• 通过最小化同一身份在不同视图下的特征与其对应类别中心之间的距离，实现基于特征的混淆。
• 使用尺度不变特征变换（SIFT）提取特征，转换为词袋表示，并通过SIFT引导损失监督深度网络。
• 整体损失函数结合三元组损失、视图分类器混淆损失、特征中心混淆损失以及SIFT引导损失，并采用自适应加权以平衡各部分贡献。
• 采用端到端对抗性训练策略，迭代更新特征提取器与视图分类器。
• 在三个基准数据集CUHK01、CUHK03和MARKET1501上评估方法，采用ResNet-50和GoogLeNet作为骨干网络。

实验结果

研究问题

• RQ1 特征提取器与视图分类器之间的对抗性训练是否能有效减少行人重识别中的视图特异性偏差？
• RQ2 强制特征靠近身份特定中心在多大程度上能提升跨视图泛化能力？
• RQ3 通过词袋模型引入SIFT特征在多大程度上能增强深度特征的视图不变性？
• RQ4 各类组件（基于分类器、基于特征、基于SIFT的混淆）对整体性能提升的相对贡献如何？
• RQ5 结合视图通用与视图特异性学习策略的统一框架是否能在标准基准上超越现有最先进方法？

主要发现

• 在MARKET1501数据集上，VCFL达到89.25%的top-1准确率和74.48%的平均平均精度（mAP），优于基线和其他最先进方法。
• SIFT引导的混淆组件贡献显著，在MARKET1501上使mAP相比基线提升3.37个百分点。
• 仅使用基于特征的混淆损失，mAP在MARKET1501上提升2.29个百分点，证明其在降低视图间特征方差方面的有效性。
• 基于视图分类器的混淆虽然因对抗性训练而稳定性较低，但在适当加权下仍贡献显著，表明其在促进视图不变性方面的作用。
• 消融实验确认视图混淆机制的每个组件均带来正向贡献，完整组合在所有数据集上均取得最佳性能。
• 该方法在CUHK01和CUHK03上也实现一致提升，mAP分别达到90.94%和93.97%，证实其在多样化数据集上的鲁棒性。