[论文解读] Split and Connect: A Universal Tracklet Booster for Multi-Object Tracking

Gaoang Wang, Yizhou Wang+3 more|arXiv (Cornell University)|May 6, 2021

Video Surveillance and Tracking Methods参考文献 70被引用 5

一句话总结

本文提出了一种通用的轨迹片段增强器，用于多目标跟踪，通过在潜在ID切换点处分割轨迹片段，并利用基于多头自注意力机制的嵌入网络重新连接，从而提升现有跟踪器的性能。该方法在MOT17和MOT20基准上实现了显著的IDF1提升——最高达6.1%，通过解决关联错误而无需修改检测流水线。

ABSTRACT

Multi-object tracking (MOT) is an essential task in the computer vision field. With the fast development of deep learning technology in recent years, MOT has achieved great improvement. However, some challenges still remain, such as sensitiveness to occlusion, instability under different lighting conditions, non-robustness to deformable objects, etc. To address such common challenges in most of the existing trackers, in this paper, a tracklet booster algorithm is proposed, which can be built upon any other tracker. The motivation is simple and straightforward: split tracklets on potential ID-switch positions and then connect multiple tracklets into one if they are from the same object. In other words, the tracklet booster consists of two parts, i.e., Splitter and Connector. First, an architecture with stacked temporal dilated convolution blocks is employed for the splitting position prediction via label smoothing strategy with adaptive Gaussian kernels. Then, a multi-head self-attention based encoder is exploited for the tracklet embedding, which is further used to connect tracklets into larger groups. We conduct sufficient experiments on MOT17 and MOT20 benchmark datasets, which demonstrates promising results. Combined with the proposed tracklet booster, existing trackers usually can achieve large improvements on the IDF1 score, which shows the effectiveness of the proposed method.

研究动机与目标

• 为解决多目标跟踪中的持久挑战，特别是由于遮挡、光照变化和形变引起的ID切换错误。
• 开发一种即插即用的模块，可在不重新训练检测器的前提下增强任意现有跟踪器。
• 减少两类关联错误：将不同物体合并为一个轨迹片段，以及将同一物体分割到多个轨迹片段中。
• 以IDF1分数为主要指标，聚焦于时间关联的鲁棒性。
• 设计一种训练稳定且可泛化的框架，结合自适应平滑与自注意力机制，用于轨迹片段嵌入。

提出的方法

• 拆分模块（Splitter）使用堆叠的时间膨胀卷积块，预测轨迹片段中潜在的ID切换位置。
• 采用基于高斯核的自适应标签平滑策略，通过软化监督中的硬边界来稳定训练。
• 连接模块（Connector）采用多头自注意力编码器，学习具有区分性的轨迹片段嵌入以用于分组。
• 具有相似嵌入的轨迹片段被合并为同一ID，从而减少碎片化和跨ID混淆。
• 该框架可端到端训练，包含三个损失组件：用于分割的均方误差、用于掩码预测的交叉熵损失，以及用于嵌入对比的三元组损失。
• 该方法在推理后应用，因此与任何基于检测器的跟踪器兼容。

Figure 1: Demonstration of association errors. The first error type shows multiple objects are associated to the same tracklet. The second error shows the same object are assigned to different tracklets.

实验结果

研究问题

• RQ1 通用的轨迹片段增强器是否能在不修改底层跟踪器的前提下，在多种MOT基准上提升IDF1分数？
• RQ2 基于高斯核的自适应标签平滑策略在训练过程中是否能有效稳定ID切换位置的预测？
• RQ3 多头自注意力机制在多大程度上提升了轨迹片段嵌入的质量以支持重新连接？
• RQ4 在重新连接前对轨迹片段进行拆分，是否能同时减少两类关联错误？
• RQ5 该方法在不同拆分与合并决策的推理阈值下是否表现出足够的鲁棒性？

主要发现

• 完整的轨迹片段增强器（Splitter + Connector）相比基线跟踪器，在MOT17上提升了6.1%的IDF1，在MOT20上提升了5.8%。
• 独立的连接模块（Connector）将IDF1提升了3.7%，证明其具备强大的重新连接能力。
• 独立的拆分模块（Splitter）使IDF1降低了1.4%，证实仅进行拆分而无后续重新连接会损害性能。
• 自适应平滑策略使拆分AP提升了9.4个百分点，相较于基线，证明其在训练稳定性方面的有效性。
• 连接模块中注意力头的最佳数量为四个，超过此数量后性能不再提升，表明复杂度与性能之间达到平衡。
• 该方法在一系列推理阈值下均表现出一致的IDF1增益（>3.0%），证明其对超参数设置具有鲁棒性。

Figure 2: The flowchart of the proposed tracklet booster. The top part and bottom part show the process of Splitter and Connector, respectively. $f_{s}$ and $f_{c}$ represent the dilated temporal convolution model and multi-head self-attention based encoder used in Splitter and Connector, respective