[论文解读] ArTIST: Autoregressive Trajectory Inpainting and Scoring for Tracking

Fatemeh Sadat Saleh, Sadegh Aliakbarian+2 more|arXiv (Cornell University)|Apr 16, 2020

Video Surveillance and Tracking Methods参考文献 97被引用 7

一句话总结

ArTIST 提出了一种基于概率的自回归生成模型，通过估计自然运动的可能性来对轨迹段（tracklets）进行评分，并实现了缺失检测的轨迹补全（trajectory inpainting）。该方法仅使用几何信息，在 MOTChallenge 和 JRDB 基准测试中实现了最先进性能，优于基于外观的方法，且无需额外训练或重识别模块。

ABSTRACT

One of the core components in online multiple object tracking (MOT) frameworks is associating new detections with existing tracklets, typically done via a scoring function. Despite the great advances in MOT, designing a reliable scoring function remains a challenge. In this paper, we introduce a probabilistic autoregressive generative model to score tracklet proposals by directly measuring the likelihood that a tracklet represents natural motion. One key property of our model is its ability to generate multiple likely futures of a tracklet given partial observations. This allows us to not only score tracklets but also effectively maintain existing tracklets when the detector fails to detect some objects even for a long time, e.g., due to occlusion, by sampling trajectories so as to inpaint the gaps caused by misdetection. Our experiments demonstrate the effectiveness of our approach to scoring and inpainting tracklets on several MOT benchmark datasets. We additionally show the generality of our generative model by using it to produce future representations in the challenging task of human motion prediction.

研究动机与目标

• 开发一种鲁棒的、基于几何信息的评分函数，用于在线多目标跟踪，且不依赖外观或重识别模型。
• 通过自回归补全缺失轨迹段，解决长期遮挡和检测器失效的挑战。
• 直接从跟踪数据中学习自然人类运动的分布，以实现未来轨迹预测并提升轨迹段的一致性。
• 在无需微调或额外数据准备的情况下，证明评分函数在多样化场景中的泛化能力。
• 与现代检测头（如 Tracktor++）集成，实现在跟踪基准测试中的最先进性能。

提出的方法

• 该模型使用概率自回归序列模型，基于部分观测估计轨迹的可能性，以建模自然人类运动的分布。
• 通过从学习到的运动分布中自回归采样，生成多个合理的未来轨迹补全。
• 通过将模型条件化于已观测的轨迹段，并对缺失部分进行采样，实现轨迹补全。
• 通过在观测轨迹上使用负对数似然损失进行端到端训练，无需人工标注轨迹段的优劣。
• 评分函数仅基于几何一致性，因此对外观变化、视角变换和领域漂移具有鲁棒性。
• 该框架与 Tracktor++ 的边界框精炼头集成，进一步提升了检测关联与跟踪精度。

实验结果

研究问题

• RQ1 纯粹基于几何信息的生成模型是否能仅通过自然运动的可能性来学习轨迹段评分，而无需依赖外观或重识别？
• RQ2 此类模型是否能通过生成合理的轨迹补全，有效应对因遮挡或检测器失效导致的缺失检测？
• RQ3 所学习的运动分布是否能在跨领域场景中泛化，包括未见过的数据集（如 JRDB），而无需微调或领域特定数据？
• RQ4 该方法是否能在 MOTA、IDF1 和 ID 切换指标上超越最先进外观模型的跟踪器，即使不使用重识别模块？
• RQ5 该模型在人类运动预测任务中，能多大程度上生成逼真的未来轨迹预测？

主要发现

• 在 MOT2017 基准测试中，ArTIST 实现了 54.0 的 MOTA 和 55.1 的 IDF1，优于所有基于几何和基于外观的最先进方法。
• 在 JRDB 数据集上，ArTIST 在所有评估方法中取得了最高的 MOTA（0.236），尽管其仅在 PathTrack 上进行训练，且仅使用几何特征。
• 与 Tracktor++ 相比，ArTIST 将 ID 切换减少了 25%，并消除了对独立重识别模型的需求，实现了更优的身份一致性。
• 该模型能为每个输入生成多个合理的未来轨迹，展示了在人类运动预测任务中的强大泛化能力。
• ArTIST* 中的误报数（FN）显著减少，表明补全的轨迹真实且符合自然运动规律。
• 即使未使用手工设计的光流或特征提取技术，ArTIST 在 MOT2017 上仍优于 PHD-GM 和其他运动预测模型。