[论文解读] Graph Correspondence Transfer for Person Re-identification

Qin Zhou, Heng Fan+5 more|arXiv (Cornell University)|Apr 1, 2018

Video Surveillance and Tracking Methods被引用 9

一句话总结

本文提出图对应迁移（GCT），一种新颖的人重识别方法，通过在训练阶段利用图匹配学习逐块对应模板，并将这些对应关系迁移至具有相似姿态配置的测试对。GCT 通过上下文感知的图匹配与对应关系迁移，有效处理空间错位问题，在五个基准测试中达到最先进性能。

ABSTRACT

In this paper, we propose a graph correspondence transfer (GCT) approach for person re-identification. Unlike existing methods, the GCT model formulates person re-identification as an off-line graph matching and on-line correspondence transferring problem. In specific, during training, the GCT model aims to learn off-line a set of correspondence templates from positive training pairs with various pose-pair configurations via patch-wise graph matching. During testing, for each pair of test samples, we select a few training pairs with the most similar pose-pair configurations as references, and transfer the correspondences of these references to test pair for feature distance calculation. The matching score is derived by aggregating distances from different references. For each probe image, the gallery image with the highest matching score is the re-identifying result. Compared to existing algorithms, our GCT can handle spatial misalignment caused by large variations in view angles and human poses owing to the benefits of patch-wise graph matching. Extensive experiments on five benchmarks including VIPeR, Road, PRID450S, 3DPES and CUHK01 evidence the superior performance of GCT model over other state-of-the-art methods.

研究动机与目标

• 解决因大视角与姿态变化引起的人重识别中的空间错位问题。
• 克服整体特征匹配与基于部件方法在缺乏上下文建模方面的局限性。
• 开发一种将训练对中学习到的对应模板迁移至具有相似姿态配置的测试对的方法。
• 通过在图匹配中整合空间与视觉上下文，提升对遮挡与外观变化的鲁棒性。
• 在不依赖深度学习架构的前提下，实现更优的重识别准确率。

提出的方法

• 将人重识别问题建模为离线图匹配与在线对应关系迁移问题。
• 利用空间与视觉上下文构建逐块图，以建模局部部件之间的关系。
• 在正样本训练对上执行图匹配，以学习跨多样化姿态对配置的对应模板。
• 推理阶段，选择与测试对姿态对配置最相似的 top-k 训练对作为参考。
• 将所选参考对中的学习到的对应关系迁移至测试对，用于局部特征距离计算。
• 聚合多个参考对的距离，计算用于重识别的总体匹配得分。

实验结果

研究问题

• RQ1 结合空间与视觉上下文的图匹配是否能提升在大姿态与视角变化下的人重识别对应学习？
• RQ2 从相似训练对迁移预学习的对应关系是否能提升在未见测试对上的泛化能力？
• RQ3 所提方法在处理错位与遮挡方面，相较于基于深度学习与基于部件的重识别方法表现如何？
• RQ4 对应关系迁移的最优参考数量是多少？该数量在不同姿态可变性差异的数据库中如何变化？
• RQ5 该方法的失败模式是什么？在严重自遮挡情况下表现如何？

主要发现

• 在 CUHK01 数据集上，GCT 达到 61.9% 的 rank-1 准确率，较之前最先进方法 TCP 提升 8.2 个百分点。
• 在 3DPES 数据集上，GCT 达到 81.0% 的 rank-1 准确率，显著优于非深度学习方法，且与基于深度学习的基线方法相当。
• 最优参考数量因数据集而异：VIPeR 为 20，Road 为 5，PRID450S 为 10，3DPES 为 20，CUHK01 为 20，表明姿态可变性越高，所需参考数越多。
• 在 VIPeR 与 CUHK01 上，R=20 表现最佳，而 R=50 在所有数据集（除 VIPeR 外）表现最差，证实参考质量优于数量。
• 由于图匹配的正则化作用，该方法对遮挡具有鲁棒性，但严重自遮挡仍是其失败案例。
• 即使不使用深度学习，GCT 仍优于多个基于深度学习的模型，证明结构化对应学习的有效性。