[论文解读] Multi-object Tracking via End-to-end Tracklet Searching and Ranking

Tao Hu, Lichao Huang+1 more|arXiv (Cornell University)|Mar 4, 2020

Video Surveillance and Tracking Methods参考文献 41被引用 8

一句话总结

该论文提出了一种端到端的轨迹段搜索与排序框架，通过边缘损失和排序损失直接优化轨迹段的一致性，通过在在线假设搜索中进行训练，减少了暴露偏差。该方法在MOT15–17基准测试中取得了最先进性能，MOTA提升至46.2，IDS降低至374（在线设置下）。

ABSTRACT

Recent works in multiple object tracking use sequence model to calculate the similarity score between the detections and the previous tracklets. However, the forced exposure to ground-truth in the training stage leads to the training-inference discrepancy problem, i.e., exposure bias, where association error could accumulate in the inference and make the trajectories drift. In this paper, we propose a novel method for optimizing tracklet consistency, which directly takes the prediction errors into account by introducing an online, end-to-end tracklet search training process. Notably, our methods directly optimize the whole tracklet score instead of pairwise affinity. With sequence model as appearance encoders of tracklet, our tracker achieves remarkable performance gain from conventional tracklet association baseline. Our methods have also achieved state-of-the-art in MOT15~17 challenge benchmarks using public detection and online settings.

研究动机与目标

• 解决多目标跟踪中因训练期间强制暴露真实轨迹而导致的训练-推理差异（暴露偏差）问题。
• 通过优化整个轨迹段的全局得分而非成对关联性，提升轨迹段的一致性。
• 通过在训练中让模型接触真实、无序的轨迹段假设，消除推理过程中的误差累积。
• 开发一种可插拔的、与序列模型无关的框架，以提升多种架构下的跟踪性能。
• 在使用在线设置和公开检测结果的标准化MOT基准测试中，实现最先进性能。

提出的方法

• 提出一种基于“搜索-学习-排序-剪枝”的新型训练流程，模拟预测数据分布以进行训练。
• 采用边缘损失，最大化真实轨迹段与负样本轨迹段假设之间的得分差异。
• 应用排序损失，确保真实轨迹段在搜索空间中排名高于所有其他候选。
• 使用带注意力机制的循环序列模型（如LSTM+attention）编码轨迹段的外观和运动特征。
• 通过在每个时间步从C个检测结果中生成K个候选轨迹段，并剪枝至前K名用于损失计算，实现在线轨迹段搜索。
• 端到端训练，仅使用预测的轨迹段，避免依赖真实轨迹段。

实验结果

研究问题

• RQ1 端到端的轨迹段搜索与排序能否有效减少多目标跟踪中的暴露偏差？
• RQ2 与成对关联性相比，优化整个轨迹段的全局得分是否能提升轨迹段一致性和跟踪性能？
• RQ3 在训练中进行在线假设搜索能否有效模拟真实推理场景并减少误差累积？
• RQ4 在所提框架中，不同序列模型（如LSTM、Transformer）的表现如何？
• RQ5 所提方法在标准MOT基准测试中能将最先进性能提升到何种程度？

主要发现

• 所提方法在MOT17基准测试中实现了46.2的MOTA，超越了以往最先进结果。
• 该方法将IDS（身份切换次数）降低至374，显著优于基线模型和消融变体。
• 消融实验表明，边缘损失、排序损失以及在线轨迹段搜索等所有组件均对性能提升有显著贡献。
• 增加候选检测数（C）和保留轨迹段数（K）可提升MOTA并降低IDS，表明扩大搜索空间具有优势。
• 在所提框架中，带注意力的LSTM优于标准LSTM和Transformer，实现46.2的MOTA和374的IDS。
• 该框架在不同序列模型上均表现稳健，证明轨迹段编码器具有可插拔性，且在多种架构下均有效。