[论文解读] A Multi-task Joint Framework for Real-time Person Search

Ye Li, Kangning Yin+3 more|arXiv (Cornell University)|Dec 11, 2020

Video Surveillance and Tracking Methods被引用 6

一句话总结

本文提出了一种用于实时行人检索的多任务联合框架（MJF），整合了优化后的 YOLOv5-GS 以实现快速且精确的检测，一种基于行人数量动态选择特征提取器的模型自适应架构（MAA），以及一种结合四选五帧确认策略的三维聚合表，以实现鲁棒的身份匹配。该框架在 1920×1080 视频上实现了 93.6% 的识别率和 25.7 FPS 的性能，支持实时运行。

ABSTRACT

Person search generally involves three important parts: person detection, feature extraction and identity comparison. However, person search integrating detection, extraction and comparison has the following drawbacks. Firstly, the accuracy of detection will affect the accuracy of comparison. Secondly, it is difficult to achieve real-time in real-world applications. To solve these problems, we propose a Multi-task Joint Framework for real-time person search (MJF), which optimizes the person detection, feature extraction and identity comparison respectively. For the person detection module, we proposed the YOLOv5-GS model, which is trained with person dataset. It combines the advantages of the Ghostnet and the Squeeze-and-Excitation (SE) block, and improves the speed and accuracy. For the feature extraction module, we design the Model Adaptation Architecture (MAA), which could select different network according to the number of people. It could balance the relationship between accuracy and speed. For identity comparison, we propose a Three Dimension (3D) Pooled Table and a matching strategy to improve identification accuracy. On the condition of 1920*1080 resolution video and 500 IDs table, the identification rate (IR) and frames per second (FPS) achieved by our method could reach 93.6% and 25.7,

研究动机与目标

• 解决现有行人检索系统因检测精度较低而影响重识别性能以及实时性差的问题。
• 开发一种集成框架，联合优化检测、特征提取和身份比对，以实现实时部署。
• 通过根据每帧中行人密度动态调整网络复杂度，平衡特征提取的速度与精度。
• 通过方向感知的特征存储和多帧确认机制，提升身份匹配的可靠性。

提出的方法

• 提出 YOLOv5-GS，一种轻量级检测网络，结合了 Ghost 模块与挤压-激励模块，在 CrowdHuman 数据集上微调，以提升行人检测的速度与精度。
• 设计模型自适应架构（MAA），根据每帧中检测到的行人数量，动态选择 ResNet-18、-34 或 -50 搭配非局部与 BatchNorm 特征模块，以平衡速度与精度。
• 引入三维聚合表，为每个身份在三种方向（正面、侧面、背面）下存储特征，实现方向特定的匹配。
• 采用四选五帧确认策略：仅当身份在连续五帧中有四帧保持一致时，才进行匹配或更新，从而提升可靠性。
• 在身份匹配过程中使用余弦距离计算特征相似度，确保对外观变化具有鲁棒性。
• 采用多阶段流水线：检测 → 自适应特征提取 → 通过带确认逻辑的三维表实现方向感知的特征匹配。

实验结果

研究问题

• RQ1 联合框架是否能通过同时优化检测、特征提取和身份匹配，提升实时行人检索性能？
• RQ2 在单帧中行人密度变化的情况下，如何平衡特征提取的速度与精度？
• RQ3 多帧确认与方向特定的特征存储是否能提升身份匹配的可靠性？
• RQ4 所提出的框架在高分辨率视频上能否实现至少 25 FPS 的实时性能，并保持高识别准确率？

主要发现

• MJF 框架在 1920×1080 视频上使用 500 个 ID 的表格时，实现了 93.6% 的识别率和 25.7 帧每秒的性能，满足实时性要求。
• YOLOv5-GS 在 1920×1080 视频上达到 60.4 FPS，证明了其在保持精度的同时具备高速检测能力。
• MAA 使用 ResNet-50 实现每秒 605 个行人的特征提取，达到 93.2% 的 mAP 和 94.2% 的 Rank-1 准确率。
• 结合四选五帧确认策略的三维聚合表显著提升了匹配稳定性，即使在行人数量较多的情况下也能减少误匹配。
• 识别率随 ID 数量增加和分辨率降低而下降，但在 500 个 ID 和 1920×1080 分辨率下，系统仍保持 93.6% 的 IR。
• 与单模型方法相比，该框架通过动态适应场景复杂度，有效平衡了速度与精度。