[论文解读] Track Targets by Dense Spatio-Temporal Position Encoding

Jinkun Cao, Hao Wu+1 more|arXiv (Cornell University)|Oct 17, 2022

Video Surveillance and Tracking Methods被引用 9

一句话总结

本文提出了一种新型的密集时空（Dense Spatio-Temporal, DST）位置编码方法，直接将位置编码应用于变换器模型中的2D卷积神经网络特征图，以实现视频多目标跟踪，有效保留空间和时间信息。该方法实现了单帧检测与轨迹的统一表征，通过超越外观匹配的目标关联方式，在MOT和MOTS基准上实现了最先进性能。

ABSTRACT

In this work, we propose a novel paradigm to encode the position of targets for target tracking in videos using transformers. The proposed paradigm, Dense Spatio-Temporal (DST) position encoding, encodes spatio-temporal position information in a pixel-wise dense fashion. The provided position encoding provides location information to associate targets across frames beyond appearance matching by comparing objects in two bounding boxes. Compared to the typical transformer positional encoding, our proposed encoding is applied to the 2D CNN features instead of the projected feature vectors to avoid losing positional information. Moreover, the designed DST encoding can represent the location of a single-frame object and the evolution of the location of the trajectory among frames uniformly. Integrated with the DST encoding, we build a transformer-based multi-object tracking model. The model takes a video clip as input and conducts the target association in the clip. It can also perform online inference by associating existing trajectories with objects from the new-coming frames. Experiments on video multi-object tracking (MOT) and multi-object tracking and segmentation (MOTS) datasets demonstrate the effectiveness of the proposed DST position encoding.

研究动机与目标

• 为解决标准位置编码在视觉任务中的局限性，特别是在多目标跟踪中常无法保留空间和时间信息的问题。
• 开发一种统一、密集且可微分的物体位置表征形式，适用于跨帧的检测与轨迹级关联。
• 通过在2D卷积神经网络特征上而非投影token上更早地引入时空位置编码，提升基于变换器的跟踪模型性能。
• 验证位置编码可作为强大且可学习的线索，减少对单一外观相似性的依赖。
• 确立DST编码作为未来视频目标跟踪研究的新基线。

提出的方法

• 提出一种基于傅里叶变换的、直接作用于2D卷积神经网络特征图的密集时空位置编码，保留像素级的空间与时间顺序。
• 设计DST编码以保持线性与一致性，确保在跨帧中对单帧检测与动态演化轨迹实现一致的表征。
• 将DST编码应用于变换器自注意力机制中的查询、键和值投影，以注入位置归纳偏置。
• 引入基于分割或显著性图的注意力掩码，以抑制背景噪声并提升特征表示质量。
• 将DST编码集成到支持在线推理的基于变换器的多目标跟踪模型中，通过将新检测与现有轨迹关联实现跟踪。
• 采用具有傅里叶频率分量的可学习位置嵌入，以可微分方式近似连续的空间与时间位置。

实验结果

研究问题

• RQ1 密集的时空位置编码是否能够超越基于外观的关联，在基于变换器的多目标跟踪中实现性能提升？
• RQ2 为何标准位置编码在视频跟踪中表现不佳？通过在特征图上更早应用是否可有效缓解其局限性？
• RQ3 能否设计一种统一的表征形式，以一致方式编码单帧检测与多帧轨迹？
• RQ4 与依赖外观匹配的常规方法相比，在网络中更早引入位置信息是否能提升跟踪性能？
• RQ5 基于分割或显著性图的注意力掩码在提升特征质量与跟踪精度方面有何影响？

主要发现

• 所提出的DST位置编码在MOTS20上实现了51.9的HOTA得分，优于现有基于变换器的方法（如TransTrk为45.5，MOTR为48.4）。
• 该模型在MOTS20上实现了51.0的IDF1，虽在MOTA上略低于SOTA方法OC-SORT（54.2），但其基于位置的关联机制更具鲁棒性。
• 消融实验表明，移除DST编码后HOTA降至64.4（MOTS20-val），而使用经典位置编码则进一步降至64.1，表明DST具有显著优势。
• 引入注意力掩码后，HOTA从64.6提升至67.1，证明其在过滤背景噪声与提升特征质量方面的有效性。
• ID切换数从无编码时的150减少至使用DST编码后的135，表明轨迹一致性得到改善。
• 消融分析确认DST编码是性能提升的主要贡献因素，注意力掩码则提供额外但次要的改进。