[论文解读] Multi-camera Multi-Object Tracking

WenQian Liu, Octavia Camps+1 more|arXiv (Cornell University)|Sep 20, 2017

Video Surveillance and Tracking Methods参考文献 12被引用 30

一句话总结

本文提出了一种全局多相机多目标跟踪框架，将跟踪建模为广义最大多 clique（GMMCP）优化问题，整合了外观（LOMO）和运动（基于 IHTLS 的 Hankel 秩估计）相似性。在 EPFL Terrace 和 Duke MTMC 数据集上进行评估，MOTA 达到 0.42，IDF1 达到 55.5%，展示了该方法在复杂场景下具有鲁棒的离线处理能力，尽管与最先进方法相比性能尚不理想，但具备向实时系统扩展的潜力。

ABSTRACT

In this paper, we propose a pipeline for multi-target visual tracking under multi-camera system. For multi-camera system tracking problem, efficient data association across cameras, and at the same time, across frames becomes more important than single-camera system tracking. However, most of the multi-camera tracking algorithms emphasis on single camera across frame data association. Thus in our work, we model our tracking problem as a global graph, and adopt Generalized Maximum Multi Clique optimization problem as our core algorithm to take both across frame and across camera data correlation into account all together. Furthermore, in order to compute good similarity scores as the input of our graph model, we extract both appearance and dynamic motion similarities. For appearance feature, Local Maximal Occurrence Representation(LOMO) feature extraction algorithm for ReID is conducted. When it comes to capturing the dynamic information, we build Hankel matrix for each tracklet of target and apply rank estimation with Iterative Hankel Total Least Squares(IHTLS) algorithm to it. We evaluate our tracker on the challenging Terrace Sequences from EPFL CVLAB as well as recently published Duke MTMC dataset.

研究动机与目标

• 为解决多相机多目标跟踪问题，通过联合建模跨相机和跨帧的数据关联。
• 在存在重叠或非重叠摄像头视图的复杂监控场景中，提升跟踪精度。
• 开发一种统一的离线框架，整合重识别与运动动力学，实现鲁棒跟踪。
• 在不同数据集上评估该方法，包括 EPFL Terrace（重叠视图）和 Duke MTMC（非重叠视图），以评估其泛化能力。

提出的方法

• 将多相机多目标跟踪问题建模为一个全局图，其中节点表示检测结果，边表示相似性得分。
• 通过结合基于 LOMO 的外观特征和基于 IHTLS 的 Hankel 矩阵秩估计来计算边的权重，以表征运动相似性。
• 通过求解混合整数线性规划问题来寻找全局最大 clique，确保跨相机和帧的一致性轨迹。
• 采用两阶段相似性融合：通过 LOMO 计算外观相似性，通过在轨迹的 Hankel 矩阵上进行秩估计计算运动相似性。
• 使用 Gurobi 求解混合整数优化问题，以实现最优 clique 选择。
• 对外观权重（0 到 1）进行参数扫描，分析运动与外观在性能上的相对影响。

实验结果

研究问题

• RQ1 如何有效结合外观与运动特征以提升多相机跟踪性能？
• RQ2 基于 Hankel 矩阵秩估计的运动相似性在多相机间在多大程度上提升了跟踪的一致性？
• RQ3 像 GMMCP 这样的全局优化框架是否能优于局部或顺序关联方法在多相机跟踪中的表现？
• RQ4 该跟踪器在不同摄像头重叠程度的数据集（如 EPFL 与 Duke MTMC）上的表现如何？
• RQ5 在边权重计算中，外观与运动相似性的最优平衡点是什么？

主要发现

• 在 EPFL Terrace 序列中，该跟踪器实现了 0.42 的 MOTA，低于 [12] 报告的最先进结果（0.7），表明仍有改进空间。
• 在 Duke MTMC 数据集上，该跟踪器实现了 55.5% 的 IDF1，低于 CDSC（60）和 BIPCC（56.2）等顶尖方法，表明性能增益有限。
• 当外观权重设置为 0 时，IDF1、IDP 和 IDR 得分达到最高，表明在此设置下，仅依靠运动相似性即可获得更优性能。
• 最耗时的步骤是相似性矩阵构建，耗时 4138 秒（超过 1 小时），其次是 Gurobi 优化（289 秒）。
• 定性结果表明，跨相机和帧的轨迹保持一致，相同颜色的边界框代表同一身份，证实了该方法在长时间保持身份一致性方面的能力。
• 作者指出，GMMCP 输出合并不佳以及人类运动中运动可区分性有限（因运动秩相似）是导致性能未达最优的主要原因。