[论文解读] Improvements to Frank-Wolfe optimization for multi-detector multi-object tracking.

Roberto Henschel, Laura Leal-Taixé+2 more|arXiv (Cornell University)|May 23, 2017

Data Management and Algorithms参考文献 1被引用 36

一句话总结

该论文提出了一种基于Frank-Wolfe的求解器，用于多探测器多目标跟踪的二元二次规划公式，通过融合两种探测器以提升轨迹估计性能。该方法在MOT16上排名第二，在MOT17上排名第一，优于超过90种现有跟踪器。

ABSTRACT

In order to track all persons in a scene, the tracking-by-detection paradigm has proven to be a very effective approach. Yet, relying solely on a single detector is also a major limitation, as useful image information might be ignored. Consequently, this work demonstrates how to fuse two detectors into a tracking system. To obtain the trajectories, we propose to formulate tracking as a weighted graph labeling problem, resulting in a binary quadratic program. As such problems are NP-hard, the solution can only be approximated. Based on the Frank-Wolfe algorithm, we present a new solver that is crucial to handle such difficult problems. Evaluation on pedestrian tracking is provided for multiple scenarios, showing superior results over single detector tracking and standard QP-solvers. Finally, our tracker ranks 2nd on the MOT16 benchmark and 1st on the new MOT17 benchmark, outperforming over 90 trackers.

研究动机与目标

• 为解决单探测器跟踪的局限性，通过融合两种探测器的信息以提升行人跟踪性能。
• 将多目标跟踪建模为加权图标记问题，从而形成二元二次规划（BQP）。
• 利用Frank-Wolfe算法开发一种高效的BQP求解器，以实现可扩展且精确的轨迹推断，该问题为NP难问题。
• 在多样化行人跟踪场景中评估该跟踪器，并与现有最先进方法进行对比。

提出的方法

• 将跟踪问题建模为在加权图上的二元二次规划（BQP），其中节点表示检测假设，边编码轨迹连续性和外观相似性。
• 对Frank-Wolfe算法进行改进，通过在可行集中迭代选择最具前景的方向来求解BQP，确保收敛至局部最优解。
• 融合两种探测器（例如基于CNN和基于HOG的探测器）以丰富特征表示，并提升在多样化场景下的检测可靠性。
• 在优化过程中采用贪婪线搜索和活动集策略，以保持可行性并加速收敛。
• 将外观和运动约束融入图的权重中，以指导轨迹形成。

实验结果

研究问题

• RQ1 与单探测器方法相比，融合两种互补探测器是否能提升跟踪性能？
• RQ2 Frank-Wolfe算法在求解多目标跟踪的NP难BQP公式方面是否有效？
• RQ3 在复杂跟踪场景中，所提出的求解器是否在准确性和效率上优于标准QP求解器？
• RQ4 该方法在多样化行人跟踪基准上的泛化能力如何？

主要发现

• 所提出的跟踪器在MOT16基准上排名第二，优于大多数现有跟踪器。
• 在MOT17基准上，该跟踪器取得第一名的最高排名，超越了超过90种其他跟踪器。
• 两种探测器的融合显著提升了在遮挡和人群密集场景等复杂情况下的鲁棒性。
• 与标准QP求解器相比，基于Frank-Wolfe的求解器在大规模跟踪实例中展现出更优的收敛性和可扩展性。