[论文解读] Kernel Cross-View Collaborative Representation based Classification for Person Re-Identification

Raphael Prates, William Robson Schwartz|arXiv (Cornell University)|Nov 21, 2016

Video Surveillance and Tracking Methods被引用 4

一句话总结

本文提出了一种非线性多任务框架——核交叉视图协同表示分类（Kernel X-CRC），通过联合优化不同摄像头下探测图像和图库图像的协同表示系数，平衡同一摄像头内的表征性与跨摄像头间的相似性，实现了在PRID450S和GRID数据集上的最先进rank-1匹配率，在VIPeR和CUHK01数据集上位列第二。

ABSTRACT

Person re-identification aims at the maintenance of a global identity as a person moves among non-overlapping surveillance cameras. It is a hard task due to different illumination conditions, viewpoints and the small number of annotated individuals from each pair of cameras (small-sample-size problem). Collaborative Representation based Classification (CRC) has been employed successfully to address the small-sample-size problem in computer vision. However, the original CRC formulation is not well-suited for person re-identification since it does not consider that probe and gallery samples are from different cameras. Furthermore, it is a linear model, while appearance changes caused by different camera conditions indicate a strong nonlinear transition between cameras. To overcome such limitations, we propose the Kernel Cross-View Collaborative Representation based Classification (Kernel X-CRC) that represents probe and gallery images by balancing representativeness and similarity nonlinearly. It assumes that a probe and its corresponding gallery image are represented with similar coding vectors using individuals from the training set. Experimental results demonstrate that our assumption is true when using a high-dimensional feature vector and becomes more compelling when dealing with a low-dimensional and discriminative representation computed using a common subspace learning method. We achieve state-of-the-art for rank-1 matching rates in two person re-identification datasets (PRID450S and GRID) and the second best results on VIPeR and CUHK01 datasets.

研究动机与目标

• 解决行人重识别中的小样本问题，即每个身份的训练样本有限，导致模型泛化能力受限。
• 克服线性协同表示分类（CRC）在处理因摄像头切换引起外观变化时的局限性。
• 通过联合建模不同摄像头下的探测图像和图库图像表示，将判别性跨视图信息融入协同表示中。
• 在保证每个摄像头内表示性的同时，平衡对应探测图像与图库图像编码向量之间的相似性，以提升匹配准确率。
• 开发一种非线性核基框架，以捕捉不同摄像头视图之间复杂非线性数据转换。

提出的方法

• 构建一个多任务优化问题，利用核化特征联合计算探测图像和图库图像的协同表示系数。
• 使用核函数将输入特征映射到高维空间，以在该空间中建模探测图像与图库图像之间的非线性关系。
• 通过在核空间中约束同一身份在不同摄像头捕获的编码向量系数彼此接近，来强制其相似性。
• 在应用Kernel X-CRC之前，使用通用子空间学习方法（如PCA或LDA）降低维度，以增强判别能力。
• 使用探测图像基于图库编码表示的重建误差作为匹配得分，其中编码空间中的相似性采用核化形式。
• 通过Tikhonov正则化优化表示，以确保在小样本条件下具有稳定性和鲁棒性。

实验结果

研究问题

• RQ1 如何有效将跨视图判别信息融入协同表示框架以用于行人重识别？
• RQ2 非线性表示模型是否能通过捕捉复杂的摄像头切换效应来提升匹配性能？
• RQ3 在不同摄像头之间强制同一身份的编码向量相似性是否能提升重识别准确率？
• RQ4 Kernel X-CRC在标准Re-ID基准上的性能与度量学习和深度学习基线相比如何？
• RQ5 在低维判别子空间中工作是否能提升小样本设置下协同表示的鲁棒性和准确性？

主要发现

• 在PRID450S数据集中，Kernel X-CRC实现了68.8%的最高rank-1匹配率，优于表6中列出的所有其他方法。
• 在GRID数据集中，Kernel X-CRC实现了26.6%的rank-1准确率，为表8中报告的所有方法中的最佳结果，表明其对干扰项具有强鲁棒性。
• 在CUHK01数据集中，Kernel X-CRC实现了61.2%的rank-1准确率，位列所有方法中的第二名，仅低于基于深度学习的WARCA模型。
• 该方法在PRID450S和GRID上达到最先进性能，在VIPeR和CUHK01上也保持在前两名，表明其具有强大的泛化能力。
• 性能提升在低维判别子空间中最为显著，证实了子空间学习与核化协同表示相结合的优势。
• Kernel X-CRC优于传统CRC和SRC，后者在跨摄像头场景下表现逊于KISSME等度量学习基线。