[论文解读] AFAT: Adaptive Failure-Aware Tracker for Robust Visual Object Tracking

Tianyang Xu, Zhenhua Feng+2 more|arXiv (Cornell University)|May 27, 2020

Video Surveillance and Tracking Methods参考文献 50被引用 7

一句话总结

本文提出 AFAT，一种自适应故障感知跟踪器，通过集成质量预测网络（QPN）实时检测潜在的跟踪失败，从而增强孪生视觉目标跟踪器。QPN 通过 CNN 和 LSTM 模块对响应图进行时空融合，以预测跟踪置信度，实现实时故障检测与纠正，从而在不牺牲速度的前提下，提升基准数据集上的准确率与鲁棒性。

ABSTRACT

Siamese approaches have achieved promising performance in visual object tracking recently. The key to the success of Siamese trackers is to learn appearance-invariant feature embedding functions via pair-wise offline training on large-scale video datasets. However, the Siamese paradigm uses one-shot learning to model the online tracking task, which impedes online adaptation in the tracking process. Additionally, the uncertainty of an online tracking response is not measured, leading to the problem of ignoring potential failures. In this paper, we advocate online adaptation in the tracking stage. To this end, we propose a failure-aware system, realised by a Quality Prediction Network (QPN), based on convolutional and LSTM modules in the decision stage, enabling online reporting of potential tracking failures. Specifically, sequential response maps from previous successive frames as well as current frame are collected to predict the tracking confidence, realising spatio-temporal fusion in the decision level. In addition, we further provide an Adaptive Failure-Aware Tracker (AFAT) by combing the state-of-the-art Siamese trackers with our system. The experimental results obtained on standard benchmarking datasets demonstrate the effectiveness of the proposed failure-aware system and the merits of our AFAT tracker, with outstanding and balanced performance in both accuracy and speed.

研究动机与目标

• 解决孪生跟踪器在在线适应性方面存在的局限性，以及缺乏故障检测机制的问题。
• 通过分析序列响应图中的不确定性，实现基于跟踪响应的实时在线故障检测。
• 开发一种轻量级、可部署的质量预测系统，与现有孪生跟踪器兼容。
• 在外观变化和遮挡等挑战性视觉条件下，提升跟踪的鲁棒性与准确性。
• 通过预测当前跟踪难度，实现实时自适应模型选择。

提出的方法

• 提出质量预测网络（QPN），通过处理来自最近帧的序列响应图来预测跟踪置信度。
• QPN 使用 2D 卷积层从响应图中提取空间特征，并利用双向 LSTM 建模帧间的时间依赖性。
• 将当前帧和前一帧的响应图进行堆叠作为 QPN 的输入，实现在决策层面的时空融合。
• QPN 采用监督方式训练，使用带标签的响应图序列进行学习，真实质量标签基于预测框与真实框之间的 IOU 计算得出。
• 将 QPN 与最先进孪生跟踪器（如 SiamRPN++）集成，形成自适应故障感知跟踪器（AFAT），实现实时故障报警与自适应修正。
• 训练期间采用保守检测策略，以减少误报，同时确保大多数真实故障被正确标记。

实验结果

研究问题

• RQ1 通过分析响应图中的时空模式，能否有效实现在线故障检测？
• RQ2 基于 CNN 和 LSTM 模块的轻量级 QPN 是否能可靠地实现实时跟踪质量预测？
• RQ3 集成故障感知系统是否能提升孪生跟踪器在挑战性视觉条件下的鲁棒性与准确性？
• RQ4 所提系统能否在保持高推理速度的同时，实现实时自适应模型选择？
• RQ5 QPN 的故障检测性能与手工设定阈值或启发式方法相比如何？

主要发现

• 在 VOT2019 数据集上，AFAT 取得 0.295 的最佳 EAO 得分，优于最先进跟踪器 ATOM（0.292）和 SiamRPN++（0.292）。
• 在 VOT2018 上，AFAT 的 EAO 为 0.419，准确率为 0.605，在 13 种最先进跟踪器中排名第一。
• 在 LaSOT 上，AFAT 的归一化精度为 0.574，略高于 SiamRPN++（0.571），AUC 为 0.612。
• AFAT 保持了高运行速度，根据故障频率不同，达到 70–87 FPS，QPN 每帧推理仅耗时 1.2–1.5 ms。
• QPN 在 Bird2 序列中成功检测出 5 次故障，包括 3 次真正例和 2 次假正例，证明了其有效的故障报警能力。
• 将 QPN 与 SiamRPN++ 集成后，在多样化基准上均实现一致的性能提升，证实了自适应故障感知框架的有效性。