[论文解读] Deep Person Re-identification for Probabilistic Data Association in Multiple Pedestrian Tracking

Brian H. Wang, Yan Wang+2 more|arXiv (Cornell University)|Oct 19, 2018

Video Surveillance and Tracking Methods参考文献 11被引用 6

一句话总结

本文提出将深度行人重识别（re-ID）特征集成到概率数据关联框架中，用于多人行人的跟踪。通过利用对姿态、视角和背景变化具有不变性的深度卷积特征，该方法在PETS09-S2L1序列中将ID切换减少了80%，在MOT17-04序列中减少了48%，显著提升了对遮挡和路径交叉情况的鲁棒性。

ABSTRACT

We present a data association method for vision-based multiple pedestrian tracking, using deep convolutional features to distinguish between different people based on their appearances. These re-identification (re-ID) features are learned such that they are invariant to transformations such as rotation, translation, and changes in the background, allowing consistent identification of a pedestrian moving through a scene. We incorporate re-ID features into a general data association likelihood model for multiple person tracking, experimentally validate this model by using it to perform tracking in two evaluation video sequences, and examine the performance improvements gained as compared to several baseline approaches. Our results demonstrate that using deep person re-ID for data association greatly improves tracking robustness to challenges such as occlusions and path crossings.

研究动机与目标

• 解决在遮挡、人群拥挤和路径交叉等复杂条件下，多人行跟踪中准确数据关联的挑战。
• 通过将基于深度学习的行人重识别作为外观线索，与空间位置信息结合，提升跟踪的鲁棒性。
• 在真实世界跟踪序列中验证深度re-ID特征在概率数据关联模型中的有效性。
• 证明基于外观的重识别显著减少ID切换，相较于仅依赖位置或简单颜色直方图的方法。

提出的方法

• 使用预训练的re-ID网络从行人检测中提取深度卷积特征，生成对视角、姿态和背景变化具有不变性的外观嵌入。
• 将这些re-ID特征集成到概率数据关联模型中，结合外观似然与空间邻近性进行轨迹关联。
• 采用似然模型，基于外观嵌入距离和空间距离联合计算观测属于某一已跟踪行人的概率。
• 在顺序跟踪流水线中逐帧递归应用该模型，使用Rao-Blackwellized粒子滤波器维护多个假设。
• 在大规模行人重识别数据集上训练re-ID模型，以确保跨身份的判别性特征学习。
• 在数据关联决策过程中，采用加权融合策略结合位置和re-ID似然。

实验结果

研究问题

• RQ1 在具有挑战性的条件下，深度行人重识别特征能否提升多人行跟踪中的数据关联性能？
• RQ2 与仅依赖位置或基于颜色直方图的外观模型相比，re-ID特征的引入在减少ID切换方面表现如何？
• RQ3 深度re-ID的集成在遮挡和路径交叉期间在多大程度上增强了跟踪的鲁棒性？
• RQ4 re-ID对MOTA和MOTP等标准跟踪指标的定量影响如何，尤其是在多样化的视频序列中？

主要发现

• 在PETS09-S2L1序列中，与仅依赖位置的数据关联相比，集成深度re-identification特征使ID切换减少了80%（从30例降至6例）。
• 在更复杂的MOT17-04序列中，当结合re-ID与位置信息时，ID切换减少了48%（从160例降至83例）。
• 颜色直方图基线方法表现较差，生成的虚假轨迹数量超过真实标注数量，导致MOTA得分为负。
• MOTP在使用re-ID后基本保持不变，表明定位精度未受影响，但轨迹连续性方面观察到更高的稳定性。
• 定性分析表明，re-ID有效防止了在遮挡和路径交叉期间的ID切换，维持了稳定的ID分配。
• 该方法在密集行人场景和复杂交互中表现出更优的鲁棒性，验证了深度re-ID作为可靠外观线索的有效性。