[论文解读] GlobalTrack: A Simple and Strong Baseline for Long-term Tracking

Lianghua Huang, Xin Zhao+1 more|arXiv (Cornell University)|Dec 18, 2019

Video Surveillance and Tracking Methods参考文献 33被引用 17

一句话总结

GlobalTrack 提出了一种基于纯全局实例搜索的简单而强大的长期视觉跟踪框架，消除了对时间一致性假设的依赖。通过利用查询引导的两阶段检测器（QG-RPN 和 QG-RCNN）及交叉查询损失，它在四个主要基准上实现了最先进性能——包括在 TrackingNet 上达到 75.4% 的归一化精度，在 TLP 上达到 63.8% 的成功率——且无需在线学习、轨迹优化或尺度平滑处理，即使在目标短暂消失后仍保持鲁棒性。

ABSTRACT

A key capability of a long-term tracker is to search for targets in very large areas (typically the entire image) to handle possible target absences or tracking failures. However, currently there is a lack of such a strong baseline for global instance search. In this work, we aim to bridge this gap. Specifically, we propose GlobalTrack, a pure global instance search based tracker that makes no assumption on the temporal consistency of the target's positions and scales. GlobalTrack is developed based on two-stage object detectors, and it is able to perform full-image and multi-scale search of arbitrary instances with only a single query as the guide. We further propose a cross-query loss to improve the robustness of our approach against distractors. With no online learning, no punishment on position or scale changes, no scale smoothing and no trajectory refinement, our pure global instance search based tracker achieves comparable, sometimes much better performance on four large-scale tracking benchmarks (i.e., 52.1% AUC on LaSOT, 63.8% success rate on TLP, 60.3% MaxGM on OxUvA and 75.4% normalized precision on TrackingNet), compared to state-of-the-art approaches that typically require complex post-processing. More importantly, our tracker runs without cumulative errors, i.e., any type of temporary tracking failures will not affect its performance on future frames, making it ideal for long-term tracking. We hope this work will be a strong baseline for long-term tracking and will stimulate future works in this area. Code is available at https://github.com/huanglianghua/GlobalTrack.

研究动机与目标

• 为解决长期视觉跟踪中缺乏一种能处理目标消失和突变运动的强而简单的基线方法的问题。
• 消除对时间一致性假设的依赖，这些假设限制了大多数现有跟踪器的性能。
• 开发一种仅使用单个查询帧即可执行全图多尺度搜索的跟踪器，无需在线适应或后处理。
• 通过一种新颖的交叉查询损失机制，提升对干扰项的鲁棒性。
• 创建一种避免累积误差的跟踪器，确保性能不会因临时跟踪失败而下降。

提出的方法

• 在两阶段目标检测（Faster R-CNN）基础上引入查询引导模块：QG-RPN 负责生成候选区域，QG-RCNN 负责分类与回归。
• 在主干网络和 ROI 级别上编码查询-搜索相关性特征图，以引导检测聚焦于与查询相关的实例。
• 使用交叉查询损失，通过在相同图像上对多个查询的损失取平均，增强对实例级干扰项的鲁棒性。
• 推理时，独立地在每一帧中使用第一帧作为查询对全图进行目标搜索，选择 top-1 预测结果。
• 训练过程中采用标准的 Faster R-CNN 分类与定位损失，不引入额外正则化或轨迹优化。
• 通过阈值化 top-1 分数（τ=0.84）引入存在/不存在预测机制，用于 OxUvA 基准测试。

实验结果

研究问题

• RQ1 是否可以基于纯全局实例搜索的跟踪器在长期跟踪中超越依赖时间一致性假设的现有方法？
• RQ2 一种简单且无需在线学习的跟踪器在频繁出现目标消失和突变运动的长视频中表现如何？
• RQ3 交叉查询损失在多大程度上能提升视觉跟踪对干扰项的鲁棒性？
• RQ4 通过全图搜索消除累积误差，是否能带来更可靠的长期跟踪性能？
• RQ5 一种最小化、端到端的框架，不依赖轨迹优化或尺度平滑，是否能在多个基准上实现最先进性能？

主要发现

• 在 LaSOT 上，GlobalTrack 的 AUC 达到 52.1%，优于 ATOM（64.8% 精度）和 SiamRPN++（69.4% 精度），在精度上分别比 ATOM 和 SiamRPN++ 提升 2.2% 和 3.6%。
• 在极长视频 TLP 基准（平均 13,529 帧）上，GlobalTrack 的成功率达到 63.8%，比次优方法 SPLT 提升约 11.1%。
• 在 OxUvA 上，GlobalTrack 在测试集上达到 60.3% 的 MaxGM，在开发集上达到 63.9%，分别优于 SiamFC+R 14.9% 和 24.2%。
• 在 TrackingNet 上，GlobalTrack 达到 75.4% 的归一化精度和 70.4% 的成功率，与 SiamRPN++（73.3% 成功率）和 ATOM（70.3% 成功率）等顶尖方法相当。
• 在目标消失约 400 帧的长期失败案例中，GlobalTrack 在目标重新出现时能立即成功重新定位目标，保持高 IoU，而所有基线方法均失败。
• 基于 top-1 分数阈值化（τ=0.84）的缺失预测模块可实现对目标存在/不存在的准确检测，显著提升了 OxUvA 上的 MaxGM 表现。