[论文解读] Fusion of Head and Full-Body Detectors for Multi-Object Tracking

Roberto Henschel, Laura Leal-Taixé+2 more|arXiv (Cornell University)|May 23, 2017

Video Surveillance and Tracking Methods参考文献 63被引用 11

一句话总结

该论文提出了一种新颖的多目标跟踪框架，通过融合头部检测器和全身检测器来提升跟踪精度，尤其在人群密集或遮挡场景下表现优异。通过将跟踪问题建模为加权图标记问题，并利用改进的Frank-Wolfe算法求解，该方法在MOT16和MOT17基准上分别取得第二名和第一名的SOTA性能，MOTA显著提升，且误报和丢失轨迹数量大幅减少。

ABSTRACT

In order to track all persons in a scene, the tracking-by-detection paradigm has proven to be a very effective approach. Yet, relying solely on a single detector is also a major limitation, as useful image information might be ignored. Consequently, this work demonstrates how to fuse two detectors into a tracking system. To obtain the trajectories, we propose to formulate tracking as a weighted graph labeling problem, resulting in a binary quadratic program. As such problems are NP-hard, the solution can only be approximated. Based on the Frank-Wolfe algorithm, we present a new solver that is crucial to handle such difficult problems. Evaluation on pedestrian tracking is provided for multiple scenarios, showing superior results over single detector tracking and standard QP-solvers. Finally, our tracker ranks 2nd on the MOT16 benchmark and 1st on the new MOT17 benchmark, outperforming over 90 trackers.

研究动机与目标

• 为解决单检测器跟踪在人群密集或遮挡场景下因全身检测器失效而带来的局限性。
• 通过利用头部与全身检测的互补信息，提升长期轨迹的一致性。
• 为多目标跟踪的二元二次规划（BQP）形式开发一种快速且精确的求解器，避免因易出错的轨迹片段初始化带来的问题。
• 证明检测器融合能显著提升跟踪性能，特别是在减少误报和恢复被遮挡行人方面。
• 在不依赖启发式轨迹片段生成的前提下，实现在标准基准上的SOTA性能。

提出的方法

• 将多目标跟踪建模为二元二次规划（BQP），联合优化所有帧中检测结果与个体之间的分配关系。
• 采用BQP的松弛版本，并通过改进的Frank-Wolfe（FW）算法求解，包含三项关键改进：精确线搜索、目标函数重构以及分层求解策略。
• 提出一种分层求解机制，通过逐步优化可行解，提升收敛速度与离散解的质量。
• 融合高精度、抗遮挡能力强的头部检测结果与对姿态变化鲁棒的全身检测结果，提升检测可靠性。
• 直接在原始检测结果上应用求解器，避免因中间轨迹片段生成而引入误差。
• 采用基于图的标记模型，确保时间一致性，最小化身份切换与误报。

实验结果

研究问题

• RQ1 与单检测器系统相比，融合头部与全身检测器是否能在人群密集或遮挡场景下提升跟踪性能？
• RQ2 与标准QP求解器及基于轨迹片段的方法相比，采用新型FW求解器的全局优化BQP形式在跟踪精度与效率方面表现如何？
• RQ3 在真实世界跟踪基准中，检测器融合在多大程度上减少了误报并恢复了被遮挡的行人？
• RQ4 所提出的分层Frank-Wolfe求解器在大规模跟踪问题上是否相比标准分支定界法或基线FW算法实现了更优的解质量与更快的收敛速度？
• RQ5 所提出的框架是否能在不依赖轨迹片段初始化的前提下，实现在MOT16和MOT17等标准基准上的SOTA性能？

主要发现

• 所提出的跟踪器在MOT16基准中获得第二名，MOTA得分为47.8%，显著优于大多数现有跟踪器。
• 在MOT17基准中，该跟踪器获得第一名，MOTA得分为51.3%，创下新SOTA纪录，超越超过90个其他跟踪器。
• 头部与全身检测器的融合使误报减少了约50%，并提升了大部分轨迹（MT）的数量，推动MOTA提升超过5个百分点。
• 所提出的增强型Frank-Wolfe求解器在目标函数值与跟踪性能上均优于标准分支定界法与基线FW算法，且速度显著更快。
• 该跟踪器在MOT16与MOT17上均取得了最低的大部分丢失（ML）得分，展现出卓越的长期轨迹恢复能力。
• 分层求解机制显著提升了解的质量，通常接近最优解，并实现了对检测结果的直接优化，避免了易出错的轨迹片段生成过程。