[论文解读] Globally Consistent Multi-People Tracking using Motion Patterns

Andrii Maksai, Xinchao Wang+2 more|arXiv (Cornell University)|Dec 2, 2016

Video Surveillance and Tracking Methods参考文献 7被引用 15

一句话总结

本文提出了一种全局一致的多人群跟踪方法，通过利用学习到的运动模式来提升轨迹连接性能。通过将轨迹段与行为模式对齐的全局优化目标——这些模式从真实标注数据中学习，或在无监督方式下迭代学习——该方法在多个最先进跟踪器上显著提升了性能，即使在使用完美检测结果的情况下，也实现了最先进水平的 IDF₁ 得分。

ABSTRACT

Many state-of-the-art approaches to people tracking rely on detecting them in each frame independently, grouping detections into short but reliable trajectory segments, and then further grouping them into full trajectories. This grouping typically relies on imposing local smoothness constraints but almost never on enforcing more global constraints on the trajectories. In this paper, we propose an approach to imposing global consistency by first inferring behavioral patterns from the ground truth and then using them to guide the tracking algorithm. When used in conjunction with several state-of-the-art algorithms, this further increases their already good performance. Furthermore, we propose an unsupervised scheme that yields almost similar improvements without the need for ground truth.

研究动机与目标

• 通过引入超越局部平滑性的全局行为约束，解决多人群跟踪中的身份切换与轨迹碎片化问题。
• 开发一种从真实轨迹中学习运动模式以指导轨迹段关联的方法。
• 将该方法扩展至无需真实标注的无监督设置。
• 通过捕捉长期运动模式的丰富非局部目标函数，实现全局最优的轨迹连接。
• 在多种数据集和基线跟踪器上展示一致的性能提升。

提出的方法

• 该方法定义了一个目标函数，用于衡量轨迹与推断出的运动模式之间的兼容性。
• 在训练阶段，使用真实轨迹来学习最大化目标函数的运动模式。
• 在推理阶段，利用学习到的模式指导基线跟踪器输出的轨迹段连接，生成全局一致的轨迹。
• 采用无监督迭代方案，交替执行从当前模式计算轨迹，以及从当前轨迹集重新估计模式。
• 优化问题被表述为全局批量问题，通过整数规划求解，其复杂度在每帧人数上呈超线性增长。
• 该方法具有通用性，支持除评估中使用的线性运动模式外的多种模式定义。

实验结果

研究问题

• RQ1 从真实轨迹中学习到的全局运动模式能否提升多人群跟踪的一致性与准确性？
• RQ2 在现有基于轨迹段的跟踪流水线中引入全局行为约束，能带来多大性能提升？
• RQ3 在无真实标注的无监督设置下，性能提升是否仍可复现？
• RQ4 在使用完美检测结果时，所提方法与最先进跟踪器相比表现如何？
• RQ5 通过基于模式的优化强制实现全局一致性，其计算成本如何？

主要发现

• 监督方法在除一个数据集外的所有数据集上均提升了 IDF₁ 得分，且在所有基准测试中均保持一致的平均增益。
• 无监督变体性能几乎与监督版本相当，仅在一个数据集上下降了 0.01 IDF₁。
• 在真实检测结果下，该方法在 Town 数据集上取得 0.93 的 IDF₁，ETH 上为 0.92，Hotel 上为 0.94，Station 上为 0.70，全面超越所有基线。
• 在相同的真实检测设置下，MOTA 在 Town 上达到 0.98，ETH 上为 0.94，Hotel 上为 0.97，Station 上为 0.77，表明在理想检测条件下表现强劲。
• 该方法具有合理的可扩展性：在较不拥挤的数据集上，处理一分钟视频耗时不足一分钟，轨迹拟合的优化时间在十分钟以内。
• 即使在大规模数据集上，该方法仍保持计算可行性，Station 数据集上的优化问题最多涉及 450k 个变量。