[论文解读] Do Not Disturb Me: Person Re-identification Under the Interference of Other Pedestrians

Shizhen Zhao, Changxin Gao+8 more|arXiv (Cornell University)|Aug 16, 2020

Video Surveillance and Tracking Methods参考文献 47被引用 8

一句话总结

本文提出行人干扰抑制网络（PISNet），一种查询引导的深度学习框架，通过抑制干扰行人的特征，提升拥挤场景下的行人重识别性能。PISNet采用查询引导注意力模块（QGAB）、引导反向注意力模块（GRAM）和多人分离损失（MPSL），在两个新的行人干扰重识别数据集上达到最先进性能，相较于现有方法在准确率和多行人遮挡鲁棒性方面均有显著提升。

ABSTRACT

In the conventional person Re-ID setting, it is widely assumed that cropped person images are for each individual. However, in a crowded scene, off-shelf-detectors may generate bounding boxes involving multiple people, where the large proportion of background pedestrians or human occlusion exists. The representation extracted from such cropped images, which contain both the target and the interference pedestrians, might include distractive information. This will lead to wrong retrieval results. To address this problem, this paper presents a novel deep network termed Pedestrian-Interference Suppression Network (PISNet). PISNet leverages a Query-Guided Attention Block (QGAB) to enhance the feature of the target in the gallery, under the guidance of the query. Furthermore, the involving Guidance Reversed Attention Module and the Multi-Person Separation Loss promote QGAB to suppress the interference of other pedestrians. Our method is evaluated on two new pedestrian-interference datasets and the results show that the proposed method performs favorably against existing Re-ID methods.

研究动机与目标

• 解决在检测框包含多个行人导致特征受干扰的拥挤场景下行人重识别的挑战。
• 通过抑制无关行人的特征，提升多行人图像中特征的区分性与定位准确性。
• 提出一种新型框架，通过查询引导注意力与对比损失显式建模干扰抑制。
• 引入两个新的基准数据集——PI-CUHK-SYSU和PI-PRW，用于评估行人干扰重识别任务。
• 证明所提方法尽管专为高干扰场景设计，仍能良好泛化至标准重识别基准。

提出的方法

• PISNet采用全卷积网络（FCN）主干网络，从行人图像中提取深层特征。
• 查询引导注意力模块（QGAB）通过查询嵌入引导，关注与查询对齐的区域，增强图库图像中的目标特征。
• 引导反向注意力模块（GRAM）利用优化后的图库特征，指导其他多行人图像中的注意力学习，提升空间定位准确性。
• 多人分离损失（MPSL）最大化同一图库图像上不同查询之间的特征距离，促进特征的区分性。
• 模型通过三元组损失与MPSL联合训练，端到端优化身份判别与干扰抑制能力。
• 可视化注意力图，验证网络能够有效抑制非目标行人，同时聚焦于目标对象。

实验结果

研究问题

• RQ1 查询引导注意力机制能否有效抑制多行人重识别图像中其他行人的干扰？
• RQ2 引导反向注意力模块（GRAM）在拥挤场景中如何提升注意力定位准确性？
• RQ3 多人分离损失（MPSL）在提升同一图库图像上不同查询间特征区分性方面效果如何？
• RQ4 尽管在干扰特定数据集上进行训练，PISNet是否仍能泛化至标准重识别基准？
• RQ5 模型性能对超参数（如损失权重α和β）的敏感程度如何？

主要发现

• 在Market-1501数据集上，PISNet达到95.6%的rank-1准确率和87.1%的mAP，优于最先进的人体遮挡重识别方法。
• 在DukeMTMC-ReID数据集上，PISNet达到88.8%的rank-1准确率和78.7%的mAP，表明其在标准重识别基准上具有强大泛化能力。
• 消融实验表明，QGAB、GRAM和MPSL各模块均有效，且组合使用时具有互补性。
• 可视化结果表明，注意力图能成功抑制非目标行人并聚焦于目标，验证了模型注意力机制的有效性。
• 模型对超参数变化具有鲁棒性，在α和β的广泛取值范围内均保持稳定性能。
• PISNet在通用重识别数据集上显著优于现有遮挡重识别方法，表明其适用范围不仅限于干扰特定场景。