[论文解读] Multi-Object Tracking with Multiple Cues and Switcher-Aware Classification

Weitao Feng, Zhihao Hu+3 more|arXiv (Cornell University)|Jan 18, 2019

Video Surveillance and Tracking Methods参考文献 39被引用 90

一句话总结

提出一个统一的 MOT 框架，将来自单对象跟踪器（SOT）的短期线索与来自 ReID 网络的长期线索相融合，并使用一个切换者感知分类器来改进数据关联并减少身份切换；在 MOT16/17 基准上达到最先进的结果。

ABSTRACT

In this paper, we propose a unified Multi-Object Tracking (MOT) framework learning to make full use of long term and short term cues for handling complex cases in MOT scenes. Besides, for better association, we propose switcher-aware classification (SAC), which takes the potential identity-switch causer (switcher) into consideration. Specifically, the proposed framework includes a Single Object Tracking (SOT) sub-net to capture short term cues, a re-identification (ReID) sub-net to extract long term cues and a switcher-aware classifier to make matching decisions using extracted features from the main target and the switcher. Short term cues help to find false negatives, while long term cues avoid critical mistakes when occlusion happens, and the SAC learns to combine multiple cues in an effective way and improves robustness. The method is evaluated on the challenging MOT benchmarks and achieves the state-of-the-art results.

研究动机与目标

• 在 MOT 中同时利用短期（基于 SOT）和长期（基于 ReID）线索以实现鲁棒性。
• 开发一个切换者感知分类器，以在数据关联时减少身份切换。
• 将线索融合与自适应选择整合，以应对遮挡和假阴性。
• 在 MOT16 和 MOT17 上评估该方法以证明其最先进的性能。

提出的方法

• 将 Siamese-RPN 用作 SOT 以捕获短期线索并生成一个 SOT 框及分数。
• 使用 ReID 子网（基于 GoogLeNet Inception-v4）从跟踪串历史中提取长期外观特征。
• 提出一个切换者感知分类器（SAC），通过提升树来实现短期与长期线索的融合，包括切换者的特征，用于将检测匹配到目标。
• 构建目标与检测的二分图，带有来自 SAC 的匹配分数，并通过最小成本网络流来进行在线数据关联。
• 选择具有质量感知机制的过去若干帧图片以形成长期线索，并使用归一化的 ReID 特征计算长期相似度。
• 引入基于质量的轨道历史和检测分数改进步骤，以减轻噪声检测的影响。

实验结果

研究问题

• RQ1 如何有效地将短期与长期线索结合以改善 MOT 中的数据关联？
• RQ2 将切换器信息引入分类器是否能减少身份切换并提升 IDF1？
• RQ3 在 MOTA 与 ID 指标方面，同时使用 SOT 和 ReID 相较于单独使用的影响是什么？
• RQ4 基于学习的切换感知方法是否能在 MOT 中超越传统成对亲和性方法？

主要发现

Benchmark	Method	MOTA	MOTP	IDF1	IDP	IDR	FP	FN	IDS
MOT16	Ours	44.8%	75.1%	53.8%	75.2%	41.8%	9639	90571	451
MOT16	Ours(with filter)	49.2%	74.0%	56.5%	77.5%	44.5%	7187	84875	606
MOT17	Ours	50.3%	76.8%	56.3%	76.5%	46.6%	21345	257062	1815
MOT17	Ours(with filter)	52.7%	76.2%	57.9%	76.3%	46.6%	22512	241936	2167
MOT16p	Ours	69.6%	78.5%	68.6%	77.1%	61.7%	9138	45497	768
MOT16p	Ours (with filter)	69.6%	78.5%	68.6%	77.1%	61.7%	9138	45497	768

• 该框架在 MOT16/MOT17 基准上实现了具有竞争力或最先进的 MOTA 和 IDF1。 (结果表中给出确切数字。)
• 短期线索在 MOTA 上带来显著提升，而长期线索显著提升 IDF1，两者结合可获得最佳的整体性能。
• 引入切换者感知分类器（SAC）可显著降低身份切换（IDS）并提升 IDF1，对 MOTA 的影响较小。
• 使用提升树分类器作为 SAC 相较于其他分类器（NN、SVM）在小维特征下具有更好表现。
• 基于质量的轨道历史和检测分数改进有助于提高对噪声检测的鲁棒性。