[论文解读] Looking Beyond Two Frames: End-to-End Multi-Object Tracking Using Spatial and Temporal Transformers

Tianyu Zhu, M. Hiller+5 more|arXiv (Cornell University)|Mar 27, 2021

Video Surveillance and Tracking Methods参考文献 66被引用 5

一句话总结

MO3TR 是一种新颖的端到端多目标跟踪框架，通过空间和时间 Transformer 联合建模目标交互与长期运动历史，实现在遮挡、轨迹初始化和终止时的鲁棒跟踪，且无需显式的数据关联或启发式规则。通过利用长程时间注意力和空间特征编码，MO3TR 在 MOT16、MOT17 和 MOT20 基准上达到最先进性能。

ABSTRACT

Tracking a time-varying indefinite number of objects in a video sequence over time remains a challenge despite recent advances in the field. Most existing approaches are not able to properly handle multi-object tracking challenges such as occlusion, in part because they ignore long-term temporal information. To address these shortcomings, we present MO3TR: a truly end-to-end Transformer-based online multi-object tracking (MOT) framework that learns to handle occlusions, track initiation and termination without the need for an explicit data association module or any heuristics. MO3TR encodes object interactions into long-term temporal embeddings using a combination of spatial and temporal Transformers, and recursively uses the information jointly with the input data to estimate the states of all tracked objects over time. The spatial attention mechanism enables our framework to learn implicit representations between all the objects and the objects to the measurements, while the temporal attention mechanism focuses on specific parts of past information, allowing our approach to resolve occlusions over multiple frames. Our experiments demonstrate the potential of this new approach, achieving results on par with or better than the current state-of-the-art on multiple MOT metrics for several popular multi-object tracking benchmarks.

研究动机与目标

• 解决现有多目标跟踪（MOT）方法依赖启发式数据关联、轨迹管理及两帧假设的局限性。
• 通过学习扩展的时间历史，克服长期遮挡处理、轨迹初始化和终止的挑战。
• 开发一种真正端到端的框架，直接从视频流预测目标状态，无需独立的检测或关联模块。
• 通过使用多样化的轨迹历史长度和针对罕见情况（如轨迹初始化和终止）的增强样本进行训练，提升泛化能力和鲁棒性。

提出的方法

• 采用空间 Transformer 编码检测到的目标与视觉测量之间的交互，学习场景中隐式的表示。
• 引入时间 Transformer，对每个目标的所有过去嵌入进行注意力计算，实现超越两帧的长程时间建模。
• 使用目标到时间注意力机制，通过历史上下文递归地优化目标嵌入，使模型能够区分遮挡与实际终止。
• 通过随机变化的轨迹历史长度进行训练，防止对特定历史长度的过拟合，提升泛化能力。
• 应用数据增强策略，包括假阴性（FN）和假阳性（FP）增强，以改善轨迹初始化和终止的学习效果。
• 在训练期间对齐轨迹历史的右端，以稳定学习过程并减少误报。

Figure 1: Looking beyond two frames with MO3TR: Temporal and spatial Transformers jointly pay attention to the current image $I_{t}$ and the entire embedding history of the two tracked objects ( red and green , left). Detection of a previously untracked object ( blue ) causes initiation of new track

实验结果

研究问题

• RQ1 一个完全端到端的基于 Transformer 的框架是否能够消除在线多目标跟踪中对启发式数据关联和轨迹管理的需求？
• RQ2 将长期时间信息（超过两帧）纳入模型，如何提升在遮挡、轨迹初始化和终止方面的性能？
• RQ3 注意力机制在多大程度上能够学会区分临时遮挡与实际的轨迹终止？
• RQ4 如可变历史长度和 FP/FN 增强等训练策略，如何影响模型的鲁棒性和泛化能力？
• RQ5 统一的状态驱动跟踪方法是否能在标准基准上超越传统的检测后跟踪流水线？

主要发现

• MO3TR 在 MOT16、MOT17 和 MOT20 基准上均达到最先进性能，所有数据集的 MOTA 和 IDF1 指标均有稳定提升。
• 更长的时间历史（超过两帧）显著提升跟踪性能，减少误报，并提高 MOTA 和 IDF1 指标。
• 训练期间引入假阳性增强可显著减少误报，从而更好地学习轨迹终止。
• 时间注意力可视化显示，模型能够关注相关的历史帧（包括较远的帧），并将缺失嵌入（不存在）作为注意力机制的一部分进行推理。
• 通过长程时间建模，模型区分遮挡与终止的能力得到增强，这在长时间遮挡的挑战性序列中表现尤为明显。
• 通过可变轨迹历史长度进行训练可防止过拟合，提升泛化能力，尤其在目标外观不规则出现或消失的场景中表现更优。

Figure 2: Overview of our MO3TR framework. Starting from the left, the temporal Transformer uses the entire embedding-based track history $\mathbb{T}_{t-1}$ to predict representative object encodings $\hat{\mathcal{Z}}_{t}$ for the current, yet unobserved, time step $t$ . The spatial Transformer the