[论文解读] Keypoint Message Passing for Video-based Person Re-Identification

Di Chen, Andreas Doering+4 more|arXiv (Cornell University)|Nov 16, 2021

Video Surveillance and Tracking Methods被引用 4

一句话总结

本文提出KMPNet，一种基于图的Message Passing框架，通过图卷积网络（GCNs）利用人体关键点特征来增强基于CNN的视频重识别性能。通过在关键点上进行时空消息传递进行训练，同时在推理时移除GCN分支，该方法在MARS和PoseTrackReID上实现了SOTA性能，准确率显著提升，包括在MARS上相比PCB基线模型Top-1准确率提升+3.3个百分点。

ABSTRACT

Video-based person re-identification (re-ID) is an important technique in visual surveillance systems which aims to match video snippets of people captured by different cameras. Existing methods are mostly based on convolutional neural networks (CNNs), whose building blocks either process local neighbor pixels at a time, or, when 3D convolutions are used to model temporal information, suffer from the misalignment problem caused by person movement. In this paper, we propose to overcome the limitations of normal convolutions with a human-oriented graph method. Specifically, features located at person joint keypoints are extracted and connected as a spatial-temporal graph. These keypoint features are then updated by message passing from their connected nodes with a graph convolutional network (GCN). During training, the GCN can be attached to any CNN-based person re-ID model to assist representation learning on feature maps, whilst it can be dropped after training for better inference speed. Our method brings significant improvements over the CNN-based baseline model on the MARS dataset with generated person keypoints and a newly annotated dataset: PoseTrackReID. It also defines a new state-of-the-art method in terms of top-1 accuracy and mean average precision in comparison to prior works.

研究动机与目标

• 解决2D和3D卷积在视频重识别中的局限性，特别是由于人员移动导致的空间局部性和时间错位问题。
• 通过引入人体关节点的非局部、面向人类的空间-时间信息，改进基于CNN的重识别模型的表征学习能力。
• 设计一种训练时的图分支，以增强CNN特征学习，同时可在推理时移除以保持效率。
• 提出一个新的基准数据集PoseTrackReID，包含行人ID和关键点标注，用于视频重识别。
• 在标准重识别基准上实现SOTA的Top-1准确率和平均平均精度（mAP）。

提出的方法

• 从人体关节点位置的CNN特征图中提取关键点特征，构成时空图中的节点。
• 图卷积网络（GCNs）在空间和时间上连接的关键点之间执行消息传递，实现非局部且时间对齐的特征聚合。
• GCN分支作为并行训练分支，通过反向传播向CNN提供反馈信号，从而在不修改推理网络的前提下提升特征学习。
• 训练完成后，整个GCN分支（包括关键点检测和图结构）被移除，仅保留CNN用于推理，以确保速度和效率。
• 该方法具有通用性，可附加到任何基于CNN的重识别模型（如PCB）上，无需架构更改。
• 该方法命名为关键点消息传递（Keypoint Message Passing, KMP），完整模型称为KMPNet。

实验结果

研究问题

• RQ1 基于人体关键点的图消息传递能否超越局部卷积的局限，提升基于CNN的视频重识别性能？
• RQ2 同时结合空间和时间消息传递是否能带来比单独使用任一方式更优的表征学习？
• RQ3 能否在推理时有效移除图训练分支而不降低性能，从而实现在实际部署中的高效性？
• RQ4 与SOTA重识别模型相比，该方法在Top-1准确率和平均平均精度上的表现如何？
• RQ5 GCN引导的训练在多大程度上提升了特征图的判别能力，尤其是在感受野较小的浅层网络中？

主要发现

• KMPNet在MARS数据集上实现了93.0%的Top-1准确率和90.4%的mAP，创下新的SOTA记录。
• 在MARS数据集上，仅使用空间消息传递时，该方法相比PCB基线模型Top-1准确率提升3.3个百分点，mAP提升0.9个百分点。
• 仅使用时间消息传递时，相比PCB基线模型Top-1准确率提升3.4个百分点，mAP提升0.7个百分点。
• 空间与时间消息传递的结合实现了最佳性能，优于单独使用任一模态。
• GCN处理后的嵌入（x_g）的判别性低于CNN嵌入（x_c），这为推理时移除GCN分支提供了合理依据。
• 消融实验表明，性能提升源于基于图的消息传递，而非训练时间更长；无GCN分支但训练时间更长的基线模型未见性能提升。