[论文解读] Learning Correspondence Structures for Person Re-identification

Weiyao Lin, Yang Shen+5 more|arXiv (Cornell University)|Mar 20, 2017

Video Surveillance and Tracking Methods被引用 4

一句话总结

本文提出了一种用于行人重识别的对应结构学习框架，通过基于提升的方法建模由于视角和姿态变化引起的空间错位，学习相机对之间的局部区域匹配概率。通过整合全局约束与多结构策略，该方法在基准数据集上实现了最先进性能，同时提升了对外观模糊性和错位的鲁棒性。

ABSTRACT

This paper addresses the problem of handling spatial misalignments due to camera-view changes or human-pose variations in person re-identification. We first introduce a boosting-based approach to learn a correspondence structure which indicates the patch-wise matching probabilities between images from a target camera pair. The learned correspondence structure can not only capture the spatial correspondence pattern between cameras but also handle the viewpoint or human-pose variation in individual images. We further introduce a global constraint-based matching process. It integrates a global matching constraint over the learned correspondence structure to exclude cross-view misalignments during the image patch matching process, hence achieving a more reliable matching score between images. Finally, we also extend our approach by introducing a multi-structure scheme, which learns a set of local correspondence structures to capture the spatial correspondence sub-patterns between a camera pair, so as to handle the spatial misalignments between individual images in a more precise way. Experimental results on various datasets demonstrate the effectiveness of our approach.

研究动机与目标

• 解决由于摄像头视角差异和人体姿态变化导致的行人重识别中的空间错位问题。
• 通过学习的对应结构，建模固定摄像头对之间的稳定跨视角空间对应模式。
• 通过整合全局约束，减少外观模糊性和遮挡在局部区域匹配中的干扰。
• 通过多结构策略捕捉多个空间对应子模式，提升匹配准确性。
• 在标准行人重识别基准上实现最先进性能。

提出的方法

• 采用基于提升的方法学习对应结构矩阵，以编码相机对图像之间的局部区域匹配概率。
• 将每个局部区域的对应关系建模为带权的一对多图，权重表示匹配概率，以处理姿态和视角变化。
• 在局部区域匹配过程中整合全局约束，以抑制跨视角错位，提升匹配可靠性。
• 通过多结构策略扩展方法，学习多个局部对应结构，以捕捉如侧视到正视或右视到后视等子模式。
• 使用 KISSME 距离度量和匈牙利算法进行相似性计算，并对 $T_c$、$T_d$ 和局部区域大小进行超参数调优。
• 应用阈值 $T_c$ 过滤低概率匹配，使用搜索范围 $T_d$ 处理匹配中的空间位移。

实验结果

研究问题

• RQ1 如何在行人重识别中有效建模由摄像头视角差异和姿态变化引起的空间错位？
• RQ2 通过编码固定摄像头之间的稳定跨视角空间模式，学习的对应结构能否提升匹配准确性？
• RQ3 整合全局约束在多大程度上能减少因外观模糊性导致的匹配误报？
• RQ4 通过多结构策略建模多个空间对应子模式，是否优于单一全局结构？
• RQ5 在准确率与计算成本之间取得平衡时，最优超参数（$T_c$、$T_d$、局部区域大小）是什么？

主要发现

• 所提方法在 VIPeR、PRID 450S、3DPeS、Road 和 SYSU-sReID 等多个基准数据集上实现了最先进性能。
• 对应结构显著提升了匹配可靠性，有效减少了外观相似性和遮挡的干扰。
• 当 $T_c = 0.05$ 且 $T_d = 32$ 时性能最优，$T_c$ 低于 0.03 或高于 0.07 均导致性能下降。
• 对于 $128\times48$ 像素的图像，局部区域大小在 $20\times15$ 到 $28\times21$ 之间时表现最佳，兼顾特征丰富度与空间灵活性。
• 使用匈牙利算法的测试过程平均每对图像耗时 3.99–4.20 毫秒，最大数据集的总推理时间低于 5 分钟。
• 多结构策略实现了对空间错位的更细粒度建模，尤其在复杂姿态变化（如侧视到正视/后视转换）中表现更优。