[论文解读] Learning to Divide and Conquer for Online Multi-Target Tracking

Francesco Solera, Simone Calderara+1 more|arXiv (Cornell University)|Sep 14, 2015

Video Surveillance and Tracking Methods参考文献 1被引用 14

一句话总结

该论文提出了一种在线多目标跟踪方法，通过相关聚类动态地将跟踪问题划分为局部子问题，并利用扩展的匈牙利算法选择性地应用简单或复杂特征。该框架通过隐式结构SVM端到端训练，基于场景复杂度智能平衡特征使用，在公开基准测试中相比最先进在线跟踪器实现了10%的MOTA性能提升。

ABSTRACT

Online Multiple Target Tracking (MTT) is often addressed within the tracking-by-detection paradigm. Detections are previously extracted independently in each frame and then objects trajectories are built by maximizing specifically designed coherence functions. Nevertheless, ambiguities arise in presence of occlusions or detection errors. In this paper we claim that the ambiguities in tracking could be solved by a selective use of the features, by working with more reliable features if possible and exploiting a deeper representation of the target only if necessary. To this end, we propose an online divide and conquer tracker for static camera scenes, which partitions the assignment problem in local subproblems and solves them by selectively choosing and combining the best features. The complete framework is cast as a structural learning task that unifies these phases and learns tracker parameters from examples. Experiments on two different datasets highlights a significant improvement of tracking performances (MOTA +10%) over the state of the art.

研究动机与目标

• 解决静态摄像头场景中频繁遮挡和检测误差带来的在线多目标跟踪挑战。
• 通过在可能时选择性地使用可靠的时空特征，并仅在必要时保留复杂外观或运动特征，以减少跟踪歧义。
• 将分工与特征选择统一到一个可学习的结构化预测框架中。
• 在不依赖离线优化或复杂目标模型的前提下，提升在线跟踪的鲁棒性和准确性。
• 通过优先利用空间线索、仅在需要时使用深层表征，模拟人类感知机制。

提出的方法

• 跟踪器使用相关聚类，基于空间和运动一致性将全局分配问题划分为局部子问题。
• 对匈牙利算法进行新颖扩展，通过将简单（空间）特征与复杂（外观/运动）特征组合为代价函数，实现实时动态特征选择。
• 该框架通过隐式结构SVM（LSSVM）进行训练，联合优化聚类的亲和度度量和分配的最优特征组合。
• 该方法根据局部场景条件（如杂乱程度和遮挡情况）学习在简单与复杂特征之间进行权衡，实现检测到轨迹的分配。
• 跟踪器逐帧运行，保持实时性能，同时通过标注样本学习来优化参数。
• 该方法受到双流假设的启发，将空间（顶叶）处理与外观/运动（时间）处理路径分离。

实验结果

研究问题

• RQ1 能否通过基于局部场景复杂度动态选择特征来提升在线多目标跟踪性能？
• RQ2 能否将分配问题有效分解为更小的局部子问题，以减少跟踪中的歧义？
• RQ3 能否通过统一的学习框架联合优化子问题划分与特征选择，以提升跟踪精度？
• RQ4 选择性使用特征——优先使用简单空间线索，仅在必要时使用复杂特征——是否能带来更高的鲁棒性并降低误差传播？
• RQ5 像隐式结构SVM这样的结构化学习方法，能否有效训练跟踪器以泛化到多样化的跟踪场景？

主要发现

• 所提出的跟踪器在公开基准测试中相比最先进方法实现了10%的MOTA性能提升，其在MOT挑战数据集上的平均MOTA达到43.1%。
• 在MCD数据集的PETS09-S2-L2序列中，该方法实现了47.4%的MOTA，优于次优方法（44.9%），领先2.5个百分点。
• 消融实验表明，仅使用简单特征时MOTA为35.7%，而使用全部特征时性能下降至41.3%，表明特征选择至关重要。
• 该方法显著减少了身份切换（IDS）和误报（FP），在PETS09-S2-L2序列中IDS为297次，远低于基线方法使用全部特征时的411次。
• 在人群密集场景中，该跟踪器保持高性能，在包含630名行人的GVEII序列中实现了65.6%的MOTA，优于所有对比方法，在准确性和鲁棒性方面均表现更优。
• 该框架表明，基于场景复杂度选择性使用特征，相比固定特征方案，能实现更好的泛化能力并减少误差传播。