[论文解读] Learning to Filter: Siamese Relation Network for Robust Tracking

Siyuan Cheng, Bineng Zhong+5 more|arXiv (Cornell University)|Apr 2, 2021

Video Surveillance and Tracking Methods参考文献 49被引用 4

一句话总结

本文提出了一种孪生关系网络（SRN），通过引入基于元学习的干扰物过滤关系检测器（RD）和用于对齐分类分支与回归分支的精炼模块（RM），提升了视觉追踪的鲁棒性。该方法在五个基准数据集（VOT2018、VOT2019、OTB100、LaSOT 和 UAV123）上实现了最先进性能，具备实时推理能力，并在遮挡、快速运动和背景杂波条件下显著提升了准确性。

ABSTRACT

Despite the great success of Siamese-based trackers, their performance under complicated scenarios is still not satisfying, especially when there are distractors. To this end, we propose a novel Siamese relation network, which introduces two efficient modules, i.e. Relation Detector (RD) and Refinement Module (RM). RD performs in a meta-learning way to obtain a learning ability to filter the distractors from the background while RM aims to effectively integrate the proposed RD into the Siamese framework to generate accurate tracking result. Moreover, to further improve the discriminability and robustness of the tracker, we introduce a contrastive training strategy that attempts not only to learn matching the same target but also to learn how to distinguish the different objects. Therefore, our tracker can achieve accurate tracking results when facing background clutters, fast motion, and occlusion. Experimental results on five popular benchmarks, including VOT2018, VOT2019, OTB100, LaSOT, and UAV123, show that the proposed method is effective and can achieve state-of-the-art results. The code will be available at https://github.com/hqucv/siamrn

研究动机与目标

• 解决孪生追踪器在背景杂波、遮挡和快速运动等复杂场景下鲁棒性不足的问题。
• 通过学习区分目标与干扰物，而非仅匹配同一目标，提升判别能力。
• 通过联合优化减少孪生追踪器中分类分支与回归分支之间的不匹配。
• 使追踪器在初始目标定位后无需微调即可过滤干扰物。

提出的方法

• 通过少样本、基于元学习的对比训练，引入关系检测器（RD），用于度量目标与候选区域特征之间的关系。
• 采用精炼模块（RM），融合分类得分与RD输出，联合优化边界框预测。
• 在训练过程中使用三元组对比损失，同时学习目标与背景样本之间的相似性与差异性。
• 在训练中应用困难负样本挖掘，以提升模型在挑战性样本上的鲁棒性。
• 利用多层级特征聚合（来自 conv3、conv4、conv5）和多种关系头类型（全局、局部、块状），实现全面的特征对比。
• 在推理过程中使用精确的ROI池化，提取候选区域特征并输入至RD。

Figure 1: Tracking Result of our Siamese relation network with two state-of-the-art trackers in VOT2018 [ 21 ] . Benefiting from our Relation Detector and Refinement Module, when facing similar distractors, appearance change and complex background, our tracker is more robust to these challenges and

实验结果

研究问题

• RQ1 基于元学习的关系检测器是否能在无需额外微调的情况下，有效过滤视觉追踪中的背景干扰物？
• RQ2 通过精炼模块联合优化分类与回归，如何减少这两个分支之间的不匹配？
• RQ3 对比学习策略在复杂视觉条件下在多大程度上提升了孪生追踪器的判别能力？
• RQ4 何种特征层级与关系头类型组合能实现最稳健的目标-背景区分？

主要发现

• 所提方法在五个标准基准数据集（VOT2018、VOT2019、OTB100、LaSOT 和 UAV123）上实现了最先进性能。
• 在 OTB100 上，模型在完整特征聚合与全部三种关系头类型（全局、局部、块状）下达到 0.701 的 AUC 得分。
• 与朴素的一对一少样本学习相比，对比学习策略使 AUC 提升 1.3%，证明了判别能力的增强。
• 困难负样本挖掘进一步使 AUC 提升 0.3%，表明模型在困难样本上的鲁棒性得到改善。
• conv4 与 conv5 特征的组合实现了最佳双层级性能，而三层特征聚合获得了最高的整体 AUC。
• 该追踪器在保持实时推理速度的同时，显著优于现有孪生追踪器，在处理遮挡、运动模糊和背景杂波方面表现更优。

Figure 2: The tracking pipeline of the proposed Siamese Relation Network. The proposed Relation detector (RD) and joint Refinement Module (RM) are presented. During tracking, we feed the features of proposals that are generated from the regression branch by precise ROI pooling [ 6 ] into RD to measu