[论文解读] A Novel Multi-Detector Fusion Framework for Multi-Object Tracking

Roberto Henschel, Laura Leal-Taixé+2 more|arXiv (Cornell University)|May 23, 2017

Video Surveillance and Tracking Methods参考文献 34被引用 14

一句话总结

该论文提出了一种新颖的多检测器融合框架用于多目标跟踪，通过将跟踪问题建模为加权图标记问题，并利用基于Frank-Wolfe的新型求解器求解，实现了多检测器与多帧信息的全局整合。该方法在MOT16上达到最先进性能，并赢得MOT17挑战赛，显著提升了遮挡情况下的跟踪鲁棒性并减少了误报。

ABSTRACT

In order to track all persons in a scene, the tracking-by-detection paradigm has proven to be a very effective approach. Yet, relying solely on a single detector is also a major limitation, as useful image information might be ignored. This work demonstrates how to incorporate several detectors into a tracking system, using a novel multi-object tracking formulation. We cast tracking as a weighted graph labeling problem, resulting in a binary quadratic program. As such problems are NP-hard, the solution can only be approximated. Based on the Frank-Wolfe algorithm, we present a new solver that is crucial to handle such difficult problems. As a result, the tracker can take information from many frames and different detectors holistically into account. When applied with head and full-body detections, the fusion helps to recover heavily occluded persons and to reduce false positives. Evaluation on pedestrian tracking is provided for multiple scenarios, showing superior results over single detector tracking and standard QP-solvers. Finally, our tracker performs state-of-the-art on the MOT16 benchmark and is the winner of the MOT17 challenge.

研究动机与目标

• 为克服单检测器跟踪的局限性，利用多个检测器之间的互补信息。
• 在遮挡严重和误报较多等复杂场景下提升跟踪性能。
• 为从多目标跟踪公式中产生的NP难二元二次规划问题开发一种高效求解器。
• 在统一的跟踪框架中实现多帧与多检测器信息的全局融合。

提出的方法

• 将跟踪问题建模为加权图标记问题，将跨帧的对象关联表示为二元二次规划问题。
• 提出一种基于Frank-Wolfe算法的新型求解器，以高效近似求解NP难优化问题。
• 通过将各检测器的检测得分整合到图标记公式中，实现多个检测器（如头部与全身检测器）的融合。
• 框架在多帧与多检测器上联合优化，支持长时序推理并提升鲁棒性。
• 优化框架允许对时间维度与检测器类型进行全局考虑，综合评估检测证据。
• 该方法设计为可扩展，能够有效应对包含遮挡的复杂真实世界跟踪场景。

实验结果

研究问题

• RQ1 如何有效融合多个检测器以提升多目标跟踪性能？
• RQ2 基于图的建模与新型优化求解器是否能在复杂场景下超越单检测器跟踪方法？
• RQ3 多帧、多检测器融合在多大程度上可减少误报并恢复被遮挡的目标？
• RQ4 所提出的求解器是否能在MOT16和MOT17等标准基准上实现最先进性能？

主要发现

• 所提出的跟踪器在MOT16基准上达到最先进性能，优于现有的单检测器方法及基于标准QP求解器的方法。
• 该跟踪器赢得MOT17挑战赛，证明其在真实世界多目标跟踪场景中的优越性。
• 头部与全身检测器的融合显著提升了对严重遮挡人员的恢复能力。
• 通过利用多个检测器之间的互补检测线索，该方法有效减少了误报。
• 基于Frank-Wolfe的求解器能够高效近似NP难二元二次规划问题，使该框架适用于实时应用。
• 多帧与多检测器信息的全局整合带来了更一致且更精确的跟踪结果。