[论文解读] Discriminative and Robust Online Learning for Siamese Visual Tracking

Jinghao Zhou, Peng Wang+1 more|arXiv (Cornell University)|Sep 6, 2019

Video Surveillance and Tracking Methods参考文献 21被引用 5

一句话总结

该论文提出DROL，一种用于孪生视觉追踪的判别性与鲁棒性在线学习模块，通过注意力机制增强特征提取，并通过自适应滤波与模板更新提升追踪性能。集成SiamRPN++后，在六个基准测试中达到最先进结果，包括在LaSOT上取得53.7% AUC与62.4% NPr，优于ATOM与SiamRPN++，且无需额外训练。

ABSTRACT

The problem of visual object tracking has traditionally been handled by variant tracking paradigms, either learning a model of the object's appearance exclusively online or matching the object with the target in an offline-trained embedding space. Despite the recent success, each method agonizes over its intrinsic constraint. The online-only approaches suffer from a lack of generalization of the model they learn thus are inferior in target regression, while the offline-only approaches (e.g., convolutional siamese trackers) lack the target-specific context information thus are not discriminative enough to handle distractors, and robust enough to deformation. Therefore, we propose an online module with an attention mechanism for offline siamese networks to extract target-specific features under L2 error. We further propose a filter update strategy adaptive to treacherous background noises for discriminative learning, and a template update strategy to handle large target deformations for robust learning. Effectiveness can be validated in the consistent improvement over three siamese baselines: SiamFC, SiamRPN++, and SiamMask. Beyond that, our model based on SiamRPN++ obtains the best results over six popular tracking benchmarks and can operate beyond real-time.

研究动机与目标

• 解决孪生追踪器因固定离线模型在处理干扰物与大形变时的局限性。
• 在不重新训练的前提下，将在线、视频特定的特征学习集成到孪生网络中。
• 通过背景感知注意力与分类分数融合，提升判别能力。
• 通过基于在线分类器置信度引导的自适应模板更新，增强鲁棒性。
• 开发即插即用模块，兼容多种孪生追踪器，同时保持实时推理速度。

提出的方法

• 引入一个具有双注意力机制的在线模块，在L2损失下从视频帧中提取目标特定特征。
• 通过可学习权重λ，将在线分类器的响应图与孪生网络的分类分数进行融合，以增强判别能力。
• 提出一种滤波更新策略，通过基于在线置信度分数更新孪生网络的分类头，以适应背景噪声。
• 实现一种动态短期模板更新机制，以间隔T选择高置信度帧进行模板优化。
• 采用二次优化框架，端到端训练在线模块，同时保持离线孪生网络预训练嵌入空间的完整性。
• 采用双分支架构：一个用于孪生匹配，一个用于在线特征优化，两者保持相互独立与模块化。

实验结果

研究问题

• RQ1 具有注意力机制的在线模块是否能在存在干扰物与背景杂波的情况下提升孪生追踪器的判别能力？
• RQ2 如何在不损害预训练嵌入空间鲁棒性的前提下，将在线学习集成到孪生网络中？
• RQ3 基于在线置信度的自适应滤波与模板更新是否能提升在大形变与运动模糊下的追踪鲁棒性？
• RQ4 所提出的模块是否可普遍应用于不同孪生追踪器，而无需重新训练或造成显著速度下降？
• RQ5 如何在孪生网络与在线分类器分数之间取得最佳平衡，以提升追踪精度与稳定性？

主要发现

• DROL-RPN采用ResNet50主干网络，在LaSOT上实现53.7% AUC与62.4% NPr，优于ATOM与SiamRPN++，且无需额外组件。
• 在OTB100上，该方法相较SiamRPN++（相同主干）实现AUC提升1.2%，EAO提升1.8%。
• 消融实验表明，λ = 0.8时能最优平衡孪生网络与在线分类器分数，相比λ = 1.0，AUC提升0.8%。
• 注意力模块使TrackingNet上的NPr提升1.2%，并改善MotorRolling与Coke等序列的IoU稳定性，减少漂移。
• 当T = 5（每5帧更新一次）时，模板更新性能优于T = 1，减少模板漂移，提升长序列的鲁棒性。
• 该方法保持实时推理速度，在标准基准上运行速度超过实时，计算开销极低。