[论文解读] Learning to associate detections for real-time multiple object tracking

Michel Meneses, Leonardo Nogueira Matos+3 more|arXiv (Cornell University)|Jul 12, 2020

Video Surveillance and Tracking Methods参考文献 33被引用 4

一句话总结

本文提出 SmartSORT，一种实时多目标跟踪方法，通过使用轻量级多层感知机（MLP）神经网络学习相似性函数，以关联视频帧之间的检测结果。通过在滑动窗口中结合深度外观特征与手工设计的运动特征，该模型能够高效预测关联代价，在实现最先进精度的同时，运行速度比类似基线方法快 58%，因此在在线和嵌入式应用中极具有效性。

ABSTRACT

With the recent advances in the object detection research field, tracking-by-detection has become the leading paradigm adopted by multi-object tracking algorithms. By extracting different features from detected objects, those algorithms can estimate the objects' similarities and association patterns along successive frames. However, since similarity functions applied by tracking algorithms are handcrafted, it is difficult to employ them in new contexts. In this study, it is investigated the use of artificial neural networks to learning a similarity function that can be used among detections. During training, the networks were introduced to correct and incorrect association patterns, sampled from a pedestrian tracking data set. For such, different motion and appearance features combinations have been explored. Finally, a trained network has been inserted into a multiple-object tracking framework, which has been assessed on the MOT Challenge benchmark. Throughout the experiments, the proposed tracker matched the results obtained by state-of-the-art methods, it has run 58\% faster than a recent and similar method, used as baseline.

研究动机与目标

• 解决基于启发式相似性函数在检测跟踪中的局限性，这些函数依赖上下文且难以适应新场景。
• 利用机器学习开发一种可扩展且可适应的相似性函数，使其能泛化于不同数据集和特征类型。
• 通过最小化计算开销，在线多目标跟踪中实现实时性能，同时保持高精度。
• 探索使用简单紧凑的神经网络替代复杂深度学习模型，以实现成本效益高的跟踪。
• 通过用滑动窗口策略结合学习回归模型替代基于滤波的运动建模，提升在线跟踪框架的效率。

提出的方法

• 训练一个多层感知机（MLP）神经网络，利用高层外观特征和运动特征预测检测之间的关联代价。
• 特征包括来自预训练卷积神经网络的深度外观嵌入，以及来自卡尔曼滤波器的手工设计运动特征（如位置、速度）。
• 滑动窗口机制通过聚合历史检测结果捕捉时间上下文，实现在无显式循环层的情况下进行序列建模。
• MLP 在行人跟踪数据集上采样的正负关联对上进行训练，使用反向传播与监督学习。
• 预测的代价用于构建二分图，通过线性规划求解以将检测结果分配给轨迹。
• 跟踪器以在线方式运行，每帧通过一次矩阵运算处理所有成对代价，实现实时处理。

实验结果

研究问题

• RQ1 轻量级神经网络能否在多目标跟踪中学习到一种鲁棒的相似性函数，实现跨数据集的泛化？
• RQ2 与基于启发式的对比方法相比，学习得到的相似性函数在精度和速度方面表现如何？
• RQ3 在实时跟踪应用中，基于简单 MLP 的回归模型能否超越更复杂的深度学习架构？
• RQ4 在非循环模型中，滑动窗口策略在多大程度上影响跟踪的稳定性与身份一致性？
• RQ5 当使用高维深度特征时，该方法在计算成本方面的可扩展性如何？

主要发现

• SmartSORT 在 MOT Challenge 2016 基准测试中取得了具有竞争力的跟踪精度，IDP 为 68.5%，FM 为 15.7%，与最先进方法相当。
• 该跟踪器比使用相似深度特征的近期基线方法快 58%，展现出显著的速度优势。
• 尽管结构简单，MLP 模型仍实现了较低的回归误差，表明其能有效学习关联代价。
• SmartSORT 比其他使用深度视觉特征的跟踪器（包括基于 LSTM 的方法）至少快 59%，同时精度仅低不到 3%。
• 该方法的主要局限是身份切换（ID）和碎片化（FM）较高，归因于滑动窗口对错误关联的敏感性。
• 结果证实，紧凑且学习得到的回归模型可在在线跟踪中实现高成本效益，尤其适用于嵌入式系统。