[论文解读] End-to-end Recurrent Multi-Object Tracking and Trajectory Prediction with Relational Reasoning

Fabian B. Fuchs, Adam R. Kosiorek+3 more|arXiv (Cornell University)|Jul 12, 2019

Video Surveillance and Tracking Methods参考文献 38被引用 5

一句话总结

本文提出Mohart，一种端到端、与类别无关的循环多目标跟踪与轨迹预测模型，通过关系推理来建模对象之间的交互。通过整合空间注意力、循环网络以及多头自注意力模块以实现排列不变的关系推理，Mohart在MOTChallenge、UA-DETRAC和Stanford Drone数据集上的基线跟踪器中实现了稳定的性能提升，尤其在遮挡、自身运动和传感器故障情况下表现更优。

ABSTRACT

The majority of contemporary object-tracking approaches do not model interactions between objects. This contrasts with the fact that objects' paths are not independent: a cyclist might abruptly deviate from a previously planned trajectory in order to avoid colliding with a car. Building upon HART, a neural class-agnostic single-object tracker, we introduce a multi-object tracking method MOHART capable of relational reasoning. Importantly, the entire system, including the understanding of interactions and relations between objects, is class-agnostic and learned simultaneously in an end-to-end fashion. We explore a number of relational reasoning architectures and show that permutation-invariant models outperform non-permutation-invariant alternatives. We also find that architectures using a single permutation invariant operation like DeepSets, despite, in theory, being universal function approximators, are nonetheless outperformed by a more complex architecture based on multi-headed attention. The latter better accounts for complex physical interactions in a challenging toy experiment. Further, we find that modelling interactions leads to consistent performance gains in tracking as well as future trajectory prediction on three real-world datasets (MOTChallenge, UA-DETRAC, and Stanford Drone dataset), particularly in the presence of ego-motion, occlusions, crowded scenes, and faulty sensor inputs.

研究动机与目标

• 解决现有跟踪器在跟踪过程中无法建模对象间交互的局限性。
• 开发一种与类别无关、可端到端训练的系统，联合优化跟踪与未来轨迹预测。
• 研究不同关系推理架构（尤其是排列不变模型）在多目标跟踪中的有效性。
• 通过联合学习跟踪与预测，提升对遮挡、自身运动和传感器噪声的鲁棒性。
• 在包含拥挤场景和部分观测等多样挑战的真实世界数据集上评估模型性能。

提出的方法

• 通过使用空间注意力对对象图像片段进行并行处理，将单目标跟踪器HART扩展为多目标跟踪。
• 通过卷积神经网络处理对象特征，并利用多头自注意力模块将特征输入关系推理模块，实现排列不变的交互建模。
• 使用循环模块在时间步之间维持并更新对象状态，支持长期运动模式学习。
• 通过共享表示，端到端联合训练整个流程，优化跟踪（IoU）与未来轨迹预测（如ADE/FDE）。
• 整合视觉特征与关系推理，提升对缺失或故障传感器输入的鲁棒性。
• 为每个对象使用单一可微分的空间注意力机制提取相关图像区域，避免使用区域提议网络。

实验结果

研究问题

• RQ1 关系推理是否能在复杂真实场景（如遮挡和自身运动）下提升多目标跟踪性能？
• RQ2 不同关系推理架构（尤其是排列不变模型）在跟踪与预测任务中的表现如何比较？
• RQ3 联合端到端训练跟踪与轨迹预测是否能带来比独立训练更好的泛化能力？
• RQ4 在传感器退化（如摄像头黑屏或检测缺失）情况下，模型表现如何？
• RQ5 在何种场景下，关系推理相比独立对象跟踪能带来最显著的性能提升？

主要发现

• Mohart在MOTChallenge、UA-DETRAC和Stanford Drone数据集上均持续优于非关系推理基线模型，尤其在遮挡和自身运动情况下表现更优。
• 模型在轨迹预测上优于线性动量基线，表明其学习了超越简单外推的复杂运动模式。
• 尽管DeepSets等简单排列不变模型是通用函数逼近器，但多头自注意力仍表现更优。
• Mohart对摄像头黑屏表现出强鲁棒性，在Stanford Drone数据集的自行车手轨迹上尤其表现出显著提升。
• 即使仅使用约8,000帧训练数据（相比SOTA检测器的约230万帧），Mohart在MOTChallenge上仍达到与最先进检测器相当的性能，表明其具有高数据效率。
• 与HART相比，Mohart在跟踪与预测任务中性能均显著更优，证实了在多目标场景中关系推理的优越性。