[论文解读] Multiple Object Tracking with Mixture Density Networks for Trajectory Estimation

Andreu Girbau, Xavier Giró-i-Nieto+2 more|arXiv (Cornell University)|Jun 21, 2021

Video Surveillance and Tracking Methods参考文献 61被引用 7

一句话总结

该论文提出 TrajE，一种基于循环混合密度网络与束搜索的轻量化轨迹估计器，可生成多个轨迹假设以提升多目标跟踪性能。通过将 TrajE 集成至 CenterTrack 和 Tracktor，作者在 MOTChallenge 2017 上实现新的最先进性能，将 MOTA 提升 6.3 个点，IDF1 提升 3.1 个点。

ABSTRACT

Multiple object tracking faces several challenges that may be alleviated with trajectory information. Knowing the posterior locations of an object helps disambiguating and solving situations such as occlusions, re-identification, and identity switching. In this work, we show that trajectory estimation can become a key factor for tracking, and present TrajE, a trajectory estimator based on recurrent mixture density networks, as a generic module that can be added to existing object trackers. To provide several trajectory hypotheses, our method uses beam search. Also, relying on the same estimated trajectory, we propose to reconstruct a track after an occlusion occurs. We integrate TrajE into two state of the art tracking algorithms, CenterTrack [63] and Tracktor [3]. Their respective performances in the MOTChallenge 2017 test set are boosted 6.3 and 0.3 points in MOTA score, and 1.8 and 3.1 in IDF1, setting a new state of the art for the CenterTrack+TrajE configuration

研究动机与目标

• 通过建模目标轨迹而非仅帧间位移，提升多目标跟踪性能。
• 通过预测性轨迹建模，应对遮挡、重识别和身份切换等挑战。
• 开发一种通用且轻量化的运动模型，可集成至现有最先进跟踪器中。
• 利用预测的轨迹分布，在遮挡后实现轨迹重建。
• 在不同数据集上验证泛化能力，包括行人跟踪（MOTChallenge）和车辆跟踪（UA-DETRAC）。

提出的方法

• TrajE 使用单层循环神经网络，估计一个高斯混合模型，以建模目标未来轨迹的后验分布。
• 该模型采用束搜索同时探索多个轨迹假设，增强对不确定性的鲁棒性。
• 轨迹估计在 MOTChallenge 2017 数据集的行人轨迹上进行训练，学习长期运动模式。
• 相同的轨迹估计结果用于遮挡后重建轨迹，提升丢失检测的恢复能力。
• TrajE 作为即插即用的运动模型，被集成至两种 SOTA 跟踪器（CenterTrack 和 Tracktor）中。
• 该方法在 MOTChallenge（行人）和 UA-DETRAC（车辆）数据集上进行评估，并对评估工具进行修改以处理 UA-DETRAC 中的忽略区域。

实验结果

研究问题

• RQ1 与仅建模帧间位移相比，建模完整目标轨迹是否能显著提升多目标跟踪性能？
• RQ2 结合束搜索的混合密度网络在生成多样化、高概率轨迹假设方面是否有效？
• RQ3 像 TrajE 这样轻量化的轨迹估计器能否有效集成至现有 SOTA 跟踪器中以提升性能？
• RQ4 基于轨迹的遮挡后轨迹重建是否能带来可测量的跟踪精度提升？
• RQ5 TrajE 是否能在不同跟踪领域（如行人与车辆）间实现良好泛化？

主要发现

• 将 TrajE 集成至 CenterTrack 后，其在 MOTChallenge 2017 测试集上的 MOTA 提升 6.3 个点，IDF1 提升 1.8 个点，创下新的最先进水平。
• Tracktor+TrajE 在 MOTChallenge 2017 上实现 0.3 个点的 MOTA 提升和 3.1 个点的 IDF1 提升，同样创下新的 SOTA 水平。
• 在 UA-DETRAC 数据集上，CenterTrack+TrajE 实现 MOTA 提升 0.5 个点和 IDF1 提升 2.0 个点，且在遮挡重建中表现优异。
• Tracktor+TrajE 在 UA-DETRAC 上实现 MOTA 提升 1.3 个点和 IDF1 提升 1.5 个点，证明其在不同领域间的泛化能力。
• 轨迹估计器在未见数据上泛化良好，表现为在行人和车辆跟踪基准上均保持一致的性能提升。
• 束搜索的使用有效探索了多个轨迹假设，增强了在遮挡和重识别情况下的鲁棒性。