[论文解读] Now you see me: evaluating performance in long-term visual tracking

Alan Lukežič, Luka Čehovin Zajc+3 more|arXiv (Cornell University)|Apr 19, 2018

Video Surveillance and Tracking Methods参考文献 21被引用 55

一句话总结

论文引入一个长期跟踪评估框架、一个具有挑战性的长期数据集（LTB35）、新的性能度量（跟踪精度、召回率、F-score）并分析一系列跟踪器以显示再检测与更新策略对长期性能至关重要；全部集成到 VOT toolkit。

ABSTRACT

We propose a new long-term tracking performance evaluation methodology and present a new challenging dataset of carefully selected sequences with many target disappearances. We perform an extensive evaluation of six long-term and nine short-term state-of-the-art trackers, using new performance measures, suitable for evaluating long-term tracking - tracking precision, recall and F-score. The evaluation shows that a good model update strategy and the capability of image-wide re-detection are critical for long-term tracking performance. We integrated the methodology in the VOT toolkit to automate experimental analysis and benchmarking and to facilitate the development of long-term trackers.

研究动机与目标

• 定义一个能够捕捉目标存在/缺失与再检测能力的正式长期跟踪评估框架。
• 创建一个具有大量消失和带注释属性的具有挑战性的长期跟踪数据集。
• 建立从短期到长期跟踪器的分类法，并研究它们在这一谱系上的性能。
• 使用所提出的度量与数据集评估广泛的长期和短期跟踪器，找出关键性能驱动因素。

提出的方法

• 为长期跟踪引入跟踪精度和召回率，并推导以 F-score 作为主要排序指标。
• 定义 tau_theta 与 tau_Omega 阈值，并通过对 tau_Omega 进行积分来获得阈值无关的度量 Pr(tau_theta) 与 Re(tau_theta)。
• 提出一个短期/长期分类法（ST0、ST1、LT0、LT1）来按再检测与更新策略对跟踪器进行分类。
• 构建包含 35 条序列与 10 项视觉属性的 LTB35 数据集，总帧数 146,847，重点关注目标消失。
• 将评估方法与跟踪器整合到 VOT toolkit 中，以实现自动化基准测试。

实验结果

研究问题

• RQ1 长期跟踪应如何被评估以考虑目标的缺失与再检测？
• RQ2 哪些数据集属性（消失、属性）最具挑战性地考验长期跟踪器？
• RQ3 哪些跟踪器设计（再检测、更新策略）在长期性能上表现最佳？
• RQ4 在长序列上评估时，长期跟踪器与短期跟踪器有何比较？

主要发现

• 一个新的长期跟踪基准（LTB35）显示平均 F-score 最佳约为 0.48，表明仍有提升空间。
• 再检测能力与对视觉模型的谨慎更新对于强劲的长期跟踪性能至关重要。
• LT1 跟踪器（如 FCLT、MUSTER、TLD）在长期序列上表现优于许多 ST1 与 LT0 方法；一些 ST1 跟踪器如 MDNet、SiamFC、ECO 也表现良好。
• 性能与目标消失次数的关系比原始序列长度更为显著。
• 速度分析显示，许多跟踪器需要代价高昂的再检测或学习操作，初始化时间可能主导总运行时间。