[论文解读] Efficient Global Multi-object Tracking Under Minimum-cost Circulation Framework

Congchao Wang, Yizhi Wang+1 more|arXiv (Cornell University)|Nov 2, 2019

Video Surveillance and Tracking Methods参考文献 40被引用 4

一句话总结

本文提出 CINDA，一种基于最小费用循环的框架，可直接求解全局多目标跟踪数据关联问题，无需迭代流量搜索，相比最先进方法实现高达 1,192 倍的加速，同时保持最优解。通过利用单位容量顶点结构，该方法显著降低理论与实际复杂度，实现在大规模数据集和长时序序列上的高效、全局最优跟踪。

ABSTRACT

We developed a minimum-cost circulation framework for solving the global data association problem, which plays a key role in the tracking-by-detection paradigm of multi-object tracking. The global data association problem was extensively studied under the minimum-cost flow framework, which is theoretically attractive as being flexible and globally solvable. However, the high computational burden has been a long-standing obstacle to its wide adoption in practice. While enjoying the same theoretical advantages and maintaining the same optimal solution as the minimum-cost flow framework, our new framework has a better theoretical complexity bound and leads to orders of practical efficiency improvement. This new framework is motivated by the observation that minimum-cost flow only partially models the data association problem and must be accompanied by an additional and time-consuming searching scheme to determine the optimal object number. By employing a minimum-cost circulation framework, we eliminate the searching step and naturally integrate the number of objects into the optimization problem. By exploring the special property of the associated graph, that is, an overwhelming majority of the vertices are with unit capacity, we designed an implementation of the framework and proved it has the best theoretical complexity so far for the global data association problem. We evaluated our method with 40 experiments on five MOT benchmark datasets. Our method was always the most efficient and averagely 53 to 1,192 times faster than the three state-of-the-art methods. When our method served as a sub-module for global data association methods using higher-order constraints, similar efficiency improvement was attained. We further illustrated through several case studies how the improved computational efficiency enables more sophisticated tracking models and yields better tracking accuracy.

研究动机与目标

• 为解决基于最小费用流的全局数据关联在多目标跟踪（MOT）中的高计算成本问题，该问题限制了其在长序列上的可扩展性。
• 通过将目标数量直接整合到优化过程中，消除现有最小费用流方法中对迭代流量搜索的需求。
• 开发一种在理论和实践上均比最小费用流更高效的框架，用于 MOT 中的全局数据关联。
• 通过大幅降低计算开销，使更高阶跟踪模型和迭代优化成为可能。

提出的方法

• 将基于最大后验概率（MAP）的数据关联问题重新表述为最小费用循环问题，而非最小费用流问题，从而自然地将目标数量整合到优化过程中。
• 利用关联图中大多数顶点具有单位容量的结构特性，设计出理论复杂度更优的高效算法。
• 实现一种专门算法，利用单位容量顶点特性以降低计算成本，实现该问题目前最优的理论时间复杂度边界。
• 采用基于循环的公式化方法，避免预先指定目标数量，从而消除耗时的搜索过程。
• 采用网络流模型，其中源点和汇点连接到检测结果，边表示帧间关联，其代价基于检测结果的相似度。
• 应用针对单位容量结构定制的最短路径与对偶上升技术，实现快速收敛。

实验结果

研究问题

• RQ1 最小费用循环框架在理论复杂度和实际效率方面是否均优于最小费用流，用于全局多目标跟踪？
• RQ2 消除迭代流量搜索步骤是否能显著提升数据关联的计算效率？
• RQ3 所提框架是否可扩展至具有长序列和高检测数量的大规模 MOT 数据集？
• RQ4 效率提升在多大程度上使更复杂的跟踪模型（如包含高阶约束的模型）成为可能？
• RQ5 该框架是否能在不带来过高计算成本的前提下支持对亲和度分数的迭代优化？

主要发现

• 在五个 MOT 基准上的 40 组实验中，CINDA 的运行时间比三种最先进方法快 53 至 1,192 倍。
• 该方法在所有实验中均持续优于所有基线模型，展现出强大且可扩展的效率优势。
• 理论分析表明，CINDA 实现了全局数据关联问题目前最优的计算复杂度边界。
• 该框架使高阶跟踪模型和迭代亲和度优化成为可能，而这些在以往因计算成本过高而难以实现。
• 案例研究显示，效率的提升使模型能够利用更长的时序上下文和更复杂的模型，从而提升跟踪精度。
• 源代码已发布，支持 Python 和 MATLAB 接口，便于后续研究与实际应用。