[论文解读] Context-aware Visual Tracking with Joint Meta-updating

Qiuhong Shen, Xin Li+2 more|arXiv (Cornell University)|Apr 4, 2022

Video Surveillance and Tracking Methods被引用 4

一句话总结

本文提出了一种上下文感知的视觉追踪框架，通过在表示空间中联合元更新孪生追踪器的定位分支与框回归分支，利用上下文聚合模块和亲和向量实现全局与局部特征的互补性。该方法在 VOT2018 上实现了 40 FPS 下 0.514 的 EAO 得分，显著优于基线追踪器，同时通过基于梯度的元学习缓解了过拟合问题。

ABSTRACT

Visual object tracking acts as a pivotal component in various emerging video applications. Despite the numerous developments in visual tracking, existing deep trackers are still likely to fail when tracking against objects with dramatic variation. These deep trackers usually do not perform online update or update single sub-branch of the tracking model, for which they cannot adapt to the appearance variation of objects. Efficient updating methods are therefore crucial for tracking while previous meta-updater optimizes trackers directly over parameter space, which is prone to over-fit even collapse on longer sequences. To address these issues, we propose a context-aware tracking model to optimize the tracker over the representation space, which jointly meta-update both branches by exploiting information along the whole sequence, such that it can avoid the over-fitting problem. First, we note that the embedded features of the localization branch and the box-estimation branch, focusing on the local and global information of the target, are effective complements to each other. Based on this insight, we devise a context-aggregation module to fuse information in historical frames, followed by a context-aware module to learn affinity vectors for both branches of the tracker. Besides, we develop a dedicated meta-learning scheme, on account of fast and stable updating with limited training samples. The proposed tracking method achieves an EAO score of 0.514 on VOT2018 with the speed of 40FPS, demonstrating its capability of improving the accuracy and robustness of the underlying tracker with little speed drop.

研究动机与目标

• 解决现有深度追踪器在大外观变化下因单分支在线更新或固定离线模板而失效的局限性。
• 通过利用序列级上下文将优化从参数空间转移到表示空间，克服参数空间元更新中的过拟合问题。
• 通过联合更新定位与框回归分支，并利用互补的局部与全局特征，提升追踪性能。
• 通过专用的元初始化方案，在有限训练样本下构建稳定、快速的在线自适应机制。
• 在不显著降低速度的前提下，提升长时序追踪序列中的鲁棒性与准确性。

提出的方法

• 引入上下文聚合模块，融合历史帧特征，以增强两个追踪分支的表示能力。
• 设计上下文感知模块，学习任务特定的亲和向量，以指导定位与回归分支的联合自适应。
• 采用基于梯度的元学习方案，对联合更新器进行初始化与更新，确保在少量样本下实现快速且稳定的自适应。
• 在表示空间而非参数空间中优化追踪器，降低长序列中过拟合的风险。
• 采用孪生网络架构，分类分支（局部特征）与边界框回归分支（全局特征）分离，并通过亲和向量实现跨分支注意力。
• 对联合更新器应用元初始化，以稳定早期自适应过程，并提升在未见追踪序列上的泛化能力。

实验结果

研究问题

• RQ1 联合元更新定位与框回归分支是否能提升在大外观变化下的追踪鲁棒性？
• RQ2 在表示空间而非参数空间中进行优化，是否能降低长时序追踪中的过拟合风险？
• RQ3 能否有效融合互补的局部与全局特征，以增强追踪器的自适应能力？
• RQ4 元初始化方案在低数据场景下如何提升在线自适应的稳定性和速度？
• RQ5 所提方法在多样化基准上的表现相较于最先进追踪器有多大程度的超越？

主要发现

• 所提方法在 VOT2018 上取得 0.514 的 EAO 得分，相较于 DiMP 基线实现 16.8% 的相对提升。
• 在 LaSOT 上，该方法取得 0.573 的 AUC 得分，在成功率、精度与归一化精度指标上全面优于所有对比的最先进追踪器。
• 消融实验表明，双分支联合更新在 VOT2018 上实现 0.506 的 EAO，显著优于单分支更新（0.455–0.473）。
• 引入元初始化后，OTB100 上的 AUC 提升至 0.697，VOT2018 上的 EAO 提升至 0.514，证明其具有显著的稳定作用。
• 模型保持高效率，推理速度达 40 FPS，尽管增强了自适应能力，性能下降可忽略。
• 具有亲和向量的上下文感知模块显著提升了定位精度与框估计性能，尤其在高外观变化场景下表现更优。