[论文解读] Learning the Model Update for Siamese Trackers

Lichao Zhang, Abel González-García+3 more|arXiv (Cornell University)|Aug 2, 2019

Video Surveillance and Tracking Methods参考文献 48被引用 14

一句话总结

本文提出UpdateNet，一种可学习的卷积神经网络，用以替代Siamese追踪器中标准的线性模板更新机制，代之以自适应、数据驱动的更新策略。通过利用初始模板、当前帧特征以及累积的历史信息，UpdateNet在多个基准测试中提升了追踪精度，在集成DaSiamRPN时，于TrackingNet数据集上实现了3.9%的准确率绝对提升。

ABSTRACT

Siamese approaches address the visual tracking problem by extracting an appearance template from the current frame, which is used to localize the target in the next frame. In general, this template is linearly combined with the accumulated template from the previous frame, resulting in an exponential decay of information over time. While such an approach to updating has led to improved results, its simplicity limits the potential gain likely to be obtained by learning to update. Therefore, we propose to replace the handcrafted update function with a method which learns to update. We use a convolutional neural network, called UpdateNet, which given the initial template, the accumulated template and the template of the current frame aims to estimate the optimal template for the next frame. The UpdateNet is compact and can easily be integrated into existing Siamese trackers. We demonstrate the generality of the proposed approach by applying it to two Siamese trackers, SiamFC and DaSiamRPN. Extensive experiments on VOT2016, VOT2018, LaSOT, and TrackingNet datasets demonstrate that our UpdateNet effectively predicts the new target template, outperforming the standard linear update. On the large-scale TrackingNet dataset, our UpdateNet improves the results of DaSiamRPN with an absolute gain of 3.9% in terms of success score.

研究动机与目标

• 为解决Siamese追踪器中固定速率线性模板更新的局限性，此类方法难以适应动态外观变化和部分遮挡。
• 开发一种通用、紧凑且可训练的更新机制，以提升视觉追踪中的鲁棒性与精度。
• 通过利用初始帧、当前帧以及历史累积模板的上下文信息，实现实时目标模板的在线自适应。
• 在多样化追踪场景（包括长时序列和显著外观变化）中，证明学习更新过程的有效性。

提出的方法

• UpdateNet是一种轻量级CNN，接收三个输入：初始真实模板、当前帧的特征表示以及前序帧累积的模板。
• 网络通过学习输入模板与目标外观之间的复杂非线性关系，预测下一帧的最优更新模板。
• 该更新机制可端到端训练，并可无缝集成到SiamFC和DaSiamRPN等现有Siamese追踪器中，无需修改其核心架构。
• 模型在推理过程中最小化追踪误差，从而实现对相关区域的自适应优先处理，同时抑制噪声或干扰物。
• 该方法支持局部化更新，尤其在部分遮挡场景中表现更优，通过学习空间感知的模板优化实现。
• UpdateNet以即插即用方式评估，在保持基础追踪器效率的同时，显著增强了其在线自适应能力。

实验结果

研究问题

• RQ1 可学习的更新机制是否能在多样化追踪场景中超越Siamese追踪器中的标准线性更新规则？
• RQ2 所提出的UpdateNet在存在显著外观变化的长时追踪中，如何提升鲁棒性？
• RQ3 基于神经网络的更新策略在不同Siamese追踪器架构之间具有多大程度的泛化能力？
• RQ4 学习更新过程是否能在大规模基准测试中带来可测量的成功率与精度指标提升？

主要发现

• 在大规模TrackingNet数据集上，UpdateNet使DaSiamRPN的成功率绝对提升3.9%，展现出在真实世界追踪中的强劲性能提升。
• 在LaSOT基准测试中，增强后的UpdateNet追踪器超越所有当前最先进方法，在精度与成功率指标上均达到最高水平。
• 在VOT2018数据集上，UpdateNet使基线DaSiamRPN的EAO得分提升4.2%，凸显其更高的追踪精度与鲁棒性。
• 在鲁棒性（R得分）方面，UpdateNet将失败率降低5.6%，表明其在追踪失败和漂移情况下的更强恢复能力。
• 该方法保持了计算效率，可几乎零开销地集成到任意Siamese追踪器中，充分证明其泛化能力。
• 消融实验表明，所学习的更新策略在运动模糊和遮挡等挑战性条件下，比固定速率线性更新更具自适应性。