[论文解读] An equalised global graphical model-based approach for multi-camera object tracking

Weihua Chen, Lijun Cao+2 more|arXiv (Cornell University)|Feb 12, 2015

Video Surveillance and Tracking Methods参考文献 47被引用 28

一句话总结

本文提出一种全局图模型，通过均衡外观特征与运动特征的相似性度量，联合优化非重叠多摄像头系统中的单摄像头跟踪（SCT）与跨摄像头跟踪（ICT）。通过将两个步骤整合到一个具有均衡相似性评分的统一图中，该方法减少了误匹配错误并提高了鲁棒性，尤其在SCT性能较差时仍能实现SOTA性能，尽管使用了实时跟踪器生成轨迹段。

ABSTRACT

Non-overlapping multi-camera visual object tracking typically consists of two steps: single camera object tracking and inter-camera object tracking. Most of tracking methods focus on single camera object tracking, which happens in the same scene, while for real surveillance scenes, inter-camera object tracking is needed and single camera tracking methods can not work effectively. In this paper, we try to improve the overall multi-camera object tracking performance by a global graph model with an improved similarity metric. Our method treats the similarities of single camera tracking and inter-camera tracking differently and obtains the optimization in a global graph model. The results show that our method can work better even in the condition of poor single camera object tracking.

研究动机与目标

• 解决传统两步法多摄像头跟踪流水线对独立单摄像头与跨摄像头模块依赖所导致的脆弱性。
• 减少因弱单摄像头跟踪导致的虚假正例和碎片化轨迹段所引发的跨摄像头匹配错误。
• 通过在统一的全局图模型中联合优化SCT与ICT，提升整体多摄像头跟踪性能。
• 平衡摄像头内与摄像头间关联的相似性评分，防止图模型偏向同摄像头链接而忽略跨摄像头链接。
• 在单摄像头跟踪不完美的真实场景中展示鲁棒性，采用实用的实时跟踪器而非计算成本更高的基于检测的分层关联方法。

提出的方法

• 构建一个将单摄像头跟踪（SCT）与跨摄像头跟踪（ICT）整合到单一优化框架中的全局图模型。
• 提出一种改进的相似性度量方法，通过最小不确定间隙来区分并均衡摄像头内与摄像头间观测的相似性评分。
• 将均衡后的相似性度量应用于外观特征与运动特征，以平衡图中同摄像头与跨摄像头链接的影响。
• 使用联合数据关联框架优化全局图，将所有观测（无论来自哪个摄像头）视为统一跟踪问题的一部分。
• 采用实时单目标跟踪器（AIF跟踪器）生成中期轨迹段用于SCT，实现在保持效率的同时实现实际部署。
• 可集成任何现有的重识别特征表示方法，因本方法聚焦于图建模而非特征学习。

实验结果

研究问题

• RQ1 统一的全局图模型能否联合优化单摄像头与跨摄像头目标跟踪，从而降低对高质量单摄像头跟踪结果的依赖？
• RQ2 如何平衡摄像头内与摄像头间关联的相似性度量，以防止图模型偏向同摄像头链接？
• RQ3 在单摄像头跟踪不可靠的情况下，通过跨摄像头均衡外观与运动相似性评分，能否提升跨摄像头匹配的准确性？
• RQ4 在存在不完美检测的真实非重叠多摄像头监控场景中，该方法相较于两步法在多大程度上表现更优？
• RQ5 当使用实时跟踪器而非计算成本更高的基于检测的分层关联方法时，该方法能否保持强性能？

主要发现

• 所提出的均衡全局图模型通过平衡摄像头内与摄像头间相似性评分，显著减少了跨摄像头跟踪中的误匹配错误。
• 即使使用实时单目标跟踪器（AIF）生成的轨迹段可靠性低于基于检测的分层方法，该方法仍实现了具有竞争力的性能，在四个数据集上的平均MCTA达到0.3405。
• 该方法优于多项SOTA方法，包括CRIPAC-MCT与Hfutdspmct，平均MCTA分别为0.3405、0.1648与0.0661。
• 在数据集1与2（户外场景）中，该方法分别实现了0.7967与0.7977的跟踪精度，以及0.5929与0.6332的召回率，表现出在挑战性条件下的强劲性能。
• 在SCT性能较差的场景中，该方法展现出鲁棒性，例如在数据集1与2中，尽管轨迹段质量不佳，其ICT性能仍显著提升（跟踪精度分别为0.6220与0.6942）。
• 在数据集2中，该方法最终达到0.4793的MCTA，虽略低于USC-Vision的0.6260，但后者使用了更复杂的基于检测的SCT模块，凸显了跟踪器质量与框架效率之间的权衡。