[论文解读] A Novel Visual Word Co-occurrence Model for Person Re-identification

Ziming Zhang, Yuting Chen+1 more|arXiv (Cornell University)|Oct 24, 2014

Video Surveillance and Tracking Methods参考文献 14被引用 4

一句话总结

本文提出了一种用于行人重识别的新型视觉词共现模型，通过视觉词共现统计量编码跨摄像头视图的外观变换。通过使用无监督码书将图像映射到视觉词，并利用核均值嵌入建模空间感知的共现模式，该方法在VIPeR和CUHK Campus数据集上分别取得了83.86%和85.49%的rank-15 CMC得分，性能优于先前方法10.44%和22.27%。

ABSTRACT

Person re-identification aims to maintain the identity of an individual in diverse locations through different non-overlapping camera views. The problem is fundamentally challenging due to appearance variations resulting from differing poses, illumination and configurations of camera views. To deal with these difficulties, we propose a novel visual word co-occurrence model. We first map each pixel of an image to a visual word using a codebook, which is learned in an unsupervised manner. The appearance transformation between camera views is encoded by a co-occurrence matrix of visual word joint distributions in probe and gallery images. Our appearance model naturally accounts for spatial similarities and variations caused by pose, illumination & configuration change across camera views. Linear SVMs are then trained as classifiers using these co-occurrence descriptors. On the VIPeR and CUHK Campus benchmark datasets, our method achieves 83.86% and 85.49% at rank-15 on the Cumulative Match Characteristic (CMC) curves, and beats the state-of-the-art results by 10.44% and 22.27%.

研究动机与目标

• 为解决由于姿态、光照和摄像头配置差异导致的显著外观变化下的行人重识别挑战。
• 将非重叠摄像头视图之间的外观变换建模为视觉词的统计共现模式，而非不变特征。
• 通过利用探针图像与图库图像之间视觉码字的空间敏感共现统计量，提升匹配准确性。
• 在VIPeR和CUHK Campus等基准数据集上超越现有最先进方法。

提出的方法

• 使用从训练数据中学习到的无监督码书将图像编码为视觉词。
• 通过使用潜在变量条件密度作为核的核均值嵌入，将每个视觉词的空间分布嵌入到核空间中。
• 在探针图像与图库图像之间构建视觉词联合分布的共现矩阵，以建模跨摄像头视图的外观变换。
• 利用生成的描述符训练线性SVM以实现分类与重识别。
• 通过使用学习得到的sigma参数的空间核，引入空间相似性，增强对姿态和光照变化的鲁棒性。
• 训练过程中学习到的加权矩阵捕捉了具有判别性的共现模式，高权重表示统计上显著的正相关或负相关关系。

实验结果

研究问题

• RQ1 不同摄像头视图之间视觉码字的共现模式是否能可靠地捕捉用于行人重识别的外观变换？
• RQ2 对视觉词的空间分布进行建模如何提升对姿态、光照和配置差异的鲁棒性？
• RQ3 视觉词的统计共现模型是否能超越基于不变特征学习或度量学习的方法？
• RQ4 码书大小与核选择对共现模型性能有何影响？
• RQ5 与简单特征表示相比，使用带有潜在空间核的核均值嵌入是否能显著增强判别能力？

主要发现

• 在VIPeR数据集上，所提方法取得了83.86%的rank-15 CMC得分，相比之前最先进方法提升了10.44%。
• 在CUHK Campus数据集上，该方法取得了85.49%的rank-15 CMC得分，相比之前最先进方法提升了22.27%。
• 当码书大小为100、200和500时，该方法表现最佳，且在超过500个码字后性能趋于饱和。
• 学习到的加权矩阵显示，某些码字共现模式具有高度判别性，正确匹配对应高正权重，错误匹配对应高负权重。
• 使用潜在空间核显著提升了性能，优于其他核选择，表明空间上下文在共现建模中的重要性。
• 该方法展现出强大的泛化能力，在VIPeR和CUHK Campus两个基准数据集上均实现了稳定且领先的性能。