[论文解读] Learning Context Graph for Person Search

Yichao Yan, Qiang Zhang+4 more|arXiv (Cornell University)|Apr 3, 2019

Video Surveillance and Tracking Methods参考文献 50被引用 8

一句话总结

本文提出了一种上下文感知的行人检索框架，通过学习场景中行人之间的上下文关系来增强特征的判别性。该方法引入了一种相对注意力模块，用于从同行者中过滤出有信息量的上下文，同时采用图学习机制来聚合查询-图对之间的全局相似性，在CUHK-SYSU（86.5% top-1，84.1% mAP）和PRW（73.6% top-1，33.4% mAP）数据集上实现了最先进性能。

ABSTRACT

Person re-identification has achieved great progress with deep convolutional neural networks. However, most previous methods focus on learning individual appearance feature embedding, and it is hard for the models to handle difficult situations with different illumination, large pose variance and occlusion. In this work, we take a step further and consider employing context information for person search. For a probe-gallery pair, we first propose a contextual instance expansion module, which employs a relative attention module to search and filter useful context information in the scene. We also build a graph learning framework to effectively employ context pairs to update target similarity. These two modules are built on top of a joint detection and instance feature learning framework, which improves the discriminativeness of the learned features. The proposed framework achieves state-of-the-art performance on two widely used person search datasets.

研究动机与目标

• 解决在遮挡、姿态变化和光照变化等挑战性条件下，个体外观特征在行人重识别中的局限性。
• 通过整合端到端检测与上下文线索的特征学习，克服对精确行人检测的依赖。
• 在大规模图库设置中提升鲁棒性，因为传统方法在噪声或模糊的个体特征下性能会下降。
• 开发一种可学习的、数据驱动的方法，自动识别并利用邻近行人提供的相关上下文信息，而无需人工标注或复杂的社交力建模。
• 通过上下文感知图结构建模全局关系，提升查询与图对之间的相似性估计。

提出的方法

• 提出一种上下文实例扩展模块，将同一场景中的所有行人作为上下文候选，用于目标查询。
• 引入一种相对注意力模块，计算查询与图库上下文候选之间的注意力分数，以识别并过滤出有信息量的上下文对。
• 构建一个上下文图，其中节点代表目标人物及其上下文对，边连接所有上下文节点与目标节点。
• 使用共享权重训练该图，以学习查询-图对之间的全局相似性，聚合上下文信息以优化最终的相似性分数。
• 将上下文图模块集成到联合检测与实例特征学习框架中，实现端到端训练。
• 采用类孪生图学习架构来比较两张图像，对两个图应用共享权重，以确保一致的特征学习。

实验结果

研究问题

• RQ1 来自邻近行人的上下文信息是否能提升真实监控场景中行人重识别的性能？
• RQ2 深度学习模型如何在不依赖人工标注的情况下，自动识别并过滤来自嘈杂场景上下文中的有用信息？
• RQ3 用于建模全局上下文关系以提升行人检索中相似性估计的最优图结构是什么？
• RQ4 通过可学习图机制引入上下文信息是否能带来更好的泛化能力和在大规模图库设置下的鲁棒性？
• RQ5 在不同基准测试中，该方法在mAP和top-1准确率方面与最先进方法相比表现如何？

主要发现

• 所提方法在CUHK-SYSU数据集上实现了86.5%的top-1准确率和84.1%的mAP，超越了以往最先进方法。
• 在PRW数据集上，该方法实现了73.6%的top-1准确率和33.4%的mAP，尽管该数据集训练数据有限，但仍优于现有SOTA方法。
• 该模型在不同图库规模（50至4000）下均保持一致的性能提升，表明其在大规模设置中的鲁棒性。
• 消融实验表明，相对注意力模块能有效过滤相关上下文，减少噪声并提升特征判别性。
• 基于图的相似性学习框架优于孪生图结构（DisGCN），表明节点内关系建模能增强上下文表征。
• 该方法在具有不同数据分布的数据集间表现出良好的泛化能力，表明其在真实世界条件下具备强大的泛化性能。