[论文解读] Lifted Disjoint Paths with Application in Multiple Object Tracking

Andrea Horňáková, Roberto Henschel+2 more|arXiv (Cornell University)|Jun 25, 2020

Video Surveillance and Tracking Methods被引用 84

一句话总结

This work extends disjoint paths with lifted edges to capture long-range temporal interactions for MOT, develops a tight LP relaxation with cutting planes, and shows strong global optimization performance on MOT benchmarks.

ABSTRACT

We present an extension to the disjoint paths problem in which additional \emph{lifted} edges are introduced to provide path connectivity priors. We call the resulting optimization problem the lifted disjoint paths problem. We show that this problem is NP-hard by reduction from integer multicommodity flow and 3-SAT. To enable practical global optimization, we propose several classes of linear inequalities that produce a high-quality LP-relaxation. Additionally, we propose efficient cutting plane algorithms for separating the proposed linear inequalities. The lifted disjoint path problem is a natural model for multiple object tracking and allows an elegant mathematical formulation for long range temporal interactions. Lifted edges help to prevent id switches and to re-identify persons. Our lifted disjoint paths tracker achieves nearly optimal assignments with respect to input detections. As a consequence, it leads on all three main benchmarks of the MOT challenge, improving significantly over state-of-the-art.

研究动机与目标

• 用提升边扩展不相交路径框架，以对 MOT 编码长程连通性先验。
• 发展具有非平凡多面体不等式的高质量线性规划松弛。
• 提供高效添加提升约束的割平面的分离程序。
• 将该方法应用于多目标跟踪，并在 MOT 基准测试中展示出色表现。
• 为实际 MOT 应用提供可行的两步图构建和成本学习管线。

提出的方法

• 在基流图和提升图上定义提升不相干路径，其中边集合 E' 编码通过 v→…→w 在 G 中的 v→…→w 连通性。
• 推导并收紧线性不等式（路径、不包含路径 induced 的割，以及提升变体），以获得强的 LP 松弛。
• 开发高效的分离程序（算法 1–3）在求解过程中加入被违反的提升约束。
• 使用 Gurobi 结合基于 LP 的分支定界，在收紧的松弛上求解 ILP。
• 通过两步过程在检测点和跟踪片段上构建图，并从视觉和运动线索（重识别、DeepMatching、运动、时空特征）学习边权。

实验结果

研究问题

• RQ1 提升边是否能够表达长程时序连通性，从而超越一阶模型来改进 MOT？
• RQ2 新的多面体不等式是否比天真提升在提升不相干路径问题上提供更紧的松弛？
• RQ3 是否存在一种实际可行的全局优化方法，利用长程交互来超越最先进的 MOT 跟踪器？
• RQ4 相比于现有方法，提升不相干路径跟踪器在标准 MOT 基准上的表现如何？

主要发现

• 提升不相干路径问题是 NP-hard（即使只有负提升边或只有正提升边）。
• 所提出的提升路径与提升路径诱导割不等式相比非提升对应物，给出严格更紧的 LP 松弛。
• 提升约束的分离程序相对于活跃基础边的数量线性时间运行，使实际求解成为可能。
• 全局优化方法产生近似最优分配并显著提升在主要基准上的 MOT 性能。