[论文解读] Learning Non-Uniform Hypergraph for Multi-Object Tracking

Longyin Wen, Dawei Du+3 more|arXiv (Cornell University)|Dec 10, 2018

Video Surveillance and Tracking Methods参考文献 23被引用 9

一句话总结

本文提出一种近在线多目标跟踪（MOT）方法，利用非均匀超图建模轨迹片段之间的可变阶依赖关系，通过结构化支持向量机（SSVM）学习超边权重，实现自适应建模。该方法通过在超图中高效搜索密集结构以形成鲁棒轨迹，在PETS09、ParkingLot、SubwayFace和MOT16基准上实现了最先进性能。

ABSTRACT

The majority of Multi-Object Tracking (MOT) algorithms based on the tracking-by-detection scheme do not use higher order dependencies among objects or tracklets, which makes them less effective in handling complex scenarios. In this work, we present a new near-online MOT algorithm based on non-uniform hypergraph, which can model different degrees of dependencies among tracklets in a unified objective. The nodes in the hypergraph correspond to the tracklets and the hyperedges with different degrees encode various kinds of dependencies among them. Specifically, instead of setting the weights of hyperedges with different degrees empirically, they are learned automatically using the structural support vector machine algorithm (SSVM). Several experiments are carried out on various challenging datasets (i.e., PETS09, ParkingLot sequence, SubwayFace, and MOT16 benchmark), to demonstrate that our method achieves favorable performance against the state-of-the-art MOT methods.

研究动机与目标

• 为解决现有MOT方法在遮挡或杂乱场景中建模轨迹片段之间复杂高阶依赖关系的局限性。
• 通过支持可变度数的超边，克服固定度数超图的刚性，以捕捉多样的依赖模式。
• 开发一种高效、近在线的跟踪框架，平衡精度与计算效率。
• 从数据中自动学习超边权重，而非通过经验设定。
• 在如漏检和外观混淆等挑战性场景中提升跟踪鲁棒性。

提出的方法

• 将轨迹片段建模为非均匀超图中的节点，其中不同度数的超边编码多目标依赖关系。
• 使用结构化支持向量机（SSVM）从训练数据中自动学习不同度数超边的权重。
• 提出一种高效的近似算法，用于在非均匀超图上求解密集结构搜索问题，以形成轨迹。
• 采用近在线策略：处理一个时间窗口内的帧以生成短轨迹片段，然后将它们关联以形成完整轨迹。
• 集成基于微调的GoogLeNet的端到端识别模型提取的CNN特征，用于检测表示。
• 采用二次规划公式化方法，对带变量更新约束的优化目标函数进行求解。

实验结果

研究问题

• RQ1 非均匀超图模型能否在复杂跟踪场景中有效捕捉轨迹片段之间多样的依赖模式？
• RQ2 与固定或经验设定的权重相比，通过SSVM学习超边权重是否能提升跟踪性能？
• RQ3 在非均匀超图上结合密集结构搜索的近在线策略，能否在保持计算效率的同时实现高精度？
• RQ4 在存在遮挡和杂乱的基准数据集上，该方法与最先进MOT方法相比表现如何？
• RQ5 建模高阶依赖关系（超越成对关系）对减少身份切换和提升跟踪鲁棒性有何影响？

主要发现

• 所提出的非均匀超图跟踪器在PETS09、ParkingLot、SubwayFace和MOT16基准上实现了最先进性能。
• 通过建模更高阶依赖关系，该方法在遮挡和杂乱场景中显著减少了身份切换，提升了跟踪精度。
• 通过SSVM学习超边权重相比固定或人工调参的权重配置，展现出更好的泛化能力与适应性。
• 近在线策略通过仅逐次处理局部时间窗口，实现实时性能，同时保持高精度。
• 在MOT16和多人行人的数据集上的定性结果表明，即使在严重遮挡下，也能实现一致且鲁棒的跟踪。
• 消融实验验证了具有学习权重的非均匀超图结构优于均匀超图和成对方法。