[论文解读] Discriminative Appearance Modeling with Multi-track Pooling for Real-time Multi-object Tracking

Chanho Kim, Fuxin Li+2 more|arXiv (Cornell University)|Jan 28, 2021

Video Surveillance and Tracking Methods参考文献 38被引用 4

一句话总结

本文提出了一种多轨迹池化模块，通过在内存更新过程中联合利用所有跟踪对象的外观特征，增强了实时多目标跟踪中的判别性外观建模。通过将该模块与双线性LSTM框架及一种新型训练策略相结合，该方法实现了贪婪的在线数据关联，从而在MOT基准测试中实现了最先进性能，且推理延迟极低。

ABSTRACT

In multi-object tracking, the tracker maintains in its memory the appearance and motion information for each object in the scene. This memory is utilized for finding matches between tracks and detections and is updated based on the matching result. Many approaches model each target in isolation and lack the ability to use all the targets in the scene to jointly update the memory. This can be problematic when there are similar looking objects in the scene. In this paper, we solve the problem of simultaneously considering all tracks during memory updating, with only a small spatial overhead, via a novel multi-track pooling module. We additionally propose a training strategy adapted to multi-track pooling which generates hard tracking episodes online. We show that the combination of these innovations results in a strong discriminative appearance model, enabling the use of greedy data association to achieve online tracking performance. Our experiments demonstrate real-time, state-of-the-art performance on public multi-object tracking (MOT) datasets.

研究动机与目标

• 为解决现有跟踪器在孤立更新外观记忆时忽略其他外观相似对象中潜在判别性负样本的问题。
• 通过在内存更新过程中联合建模所有轨迹，提升在视觉相似对象场景下的跟踪鲁棒性。
• 开发一种支持长序列学习的训练策略，利用批次内依赖关系，克服先前方法中短序列训练偏差的问题。
• 通过采用简单的贪婪数据关联策略，实现实时、在线的跟踪性能，无需前瞻帧或复杂关联机制。

提出的方法

• 提出多轨迹池化模块，计算所有其他轨迹的外观特征最大池化表示，作为每个目标记忆更新的上下文信息。
• 将双线性LSTM架构改进以集成多轨迹池化，实现联合外观建模，使匹配似然度能根据场景上下文动态调整。
• 提出一种新型在线训练策略，利用批次内轨迹间的依赖关系模拟长序列，实现对完整轨迹的端到端训练。
• 采用基于运动模型的轨迹扩展机制，在检测缺失期间维持轨迹，提升对遮挡的鲁棒性。
• 应用边界框校正器以优化预测位置，尤其针对扩展轨迹表现更优。
• 采用贪婪数据关联策略，结合置信度阈值和最大丢失帧数，以保持实时性能。

实验结果

研究问题

• RQ1 在视觉相似目标场景中，是否可通过在外观记忆更新过程中联合建模所有跟踪对象来提升跟踪精度？
• RQ2 多轨迹池化是否能在不增加计算开销的前提下增强外观模型的判别能力？
• RQ3 当与鲁棒、上下文感知的外观模型结合时，贪婪数据关联策略能否实现最先进性能？
• RQ4 是否能够通过利用批次内依赖关系的迷你批量训练，有效训练长序列跟踪模型，而非依赖短随机序列？
• RQ5 在标准MOT基准测试中，该方法在速度和精度方面与现有在线及准在线跟踪器相比如何？

主要发现

• 所提跟踪器在MOT17和MOT16基准测试中达到SOTA性能，在在线设置下分别取得53.5 MOTA和48.3 IDF1，优于大多数现有在线跟踪器。
• 在准在线设置下，多轨迹池化模块相较基线MHT-bLSTM将IDF1提升7.5%，MOTA提升12.8%，且显著减少身份切换与碎片化。
• 当使用Tracktor处理的检测结果时，该跟踪器相比最近似竞争对手实现3倍速度提升，同时保持更优的IDF1和更少的身份切换。
• 消融实验表明，多轨迹池化在所有指标上均一致提升性能，尤其在减少身份切换与碎片化方面效果显著。
• 即使不使用Tracktor后处理，该方法在仅使用公开检测结果时仍表现出强鲁棒性，证明其对检测质量不敏感。
• 该训练策略实现了有效的长序列学习，带来更好的泛化能力，性能优于短序列预训练方法。