[论文解读] Backbone is All Your Need: A Simplified Architecture for Visual Object Tracking

Boyu Chen, Peixia Li+7 more|arXiv (Cornell University)|Mar 10, 2022

Video Surveillance and Tracking Methods被引用 10

一句话总结

本文提出 SimTrack，一种简化的视觉目标跟踪框架，用单分支视觉变换器主干网络替代孪生网络，将模板图像和搜索图像序列化以实现联合特征学习与交互。通过从一开始就利用自注意力机制对两类输入进行交互，该方法在 LaSOT 和 TNL2K 数据集上分别实现了 2.5%/2.6% 的 AUC 提升，达到当前最先进性能，无需专用交互模块，充分证明了通用视觉变换器主干在网络跟踪任务中的有效性。

ABSTRACT

Exploiting a general-purpose neural architecture to replace hand-wired designs or inductive biases has recently drawn extensive interest. However, existing tracking approaches rely on customized sub-modules and need prior knowledge for architecture selection, hindering the tracking development in a more general system. This paper presents a Simplified Tracking architecture (SimTrack) by leveraging a transformer backbone for joint feature extraction and interaction. Unlike existing Siamese trackers, we serialize the input images and concatenate them directly before the one-branch backbone. Feature interaction in the backbone helps to remove well-designed interaction modules and produce a more efficient and effective framework. To reduce the information loss from down-sampling in vision transformers, we further propose a foveal window strategy, providing more diverse input patches with acceptable computational costs. Our SimTrack improves the baseline with 2.5%/2.6% AUC gains on LaSOT/TNL2K and gets results competitive with other specialized tracking algorithms without bells and whistles.

研究动机与目标

• 通过用统一的通用视觉变换器主干替代孪生网络，简化视觉目标跟踪任务。
• 减少现有跟踪框架中对任务特定归纳偏置和定制化交互模块的依赖。
• 通过在单一视觉变换器主干中实现联合特征学习与交互，提升跟踪精度。
• 通过使用中央聚焦窗口策略，减轻视觉变换器中下采样导致的信息损失。
• 证明通用预训练视觉变换器主干在极少架构修改下可超越专用设计。

提出的方法

• 在将模板图像和搜索图像输入视觉变换器主干之前，将其序列化为单一标记序列。
• 使用标准视觉变换器主干，通过多头自注意力机制，从第一层开始实现跨模态特征交互。
• 引入中央聚焦窗口策略，提高图像中心区域的补丁采样频率，以保留目标相关细节。
• 为序列化输入设计特定的位置嵌入，以保持对模板区域和搜索区域的空间感知能力。
• 通过依赖主干网络的注意力机制实现特征交互，从而消除专用交互头。
• 利用 ImageNet 或 MAE 的预训练权重进行更好的初始化，加快收敛速度。

实验结果

研究问题

• RQ1 单分支视觉变换器主干是否能够替代视觉目标跟踪中孪生网络和专用交互头？
• RQ2 在统一的视觉变换器主干中实现联合特征学习与交互，是否能提升跟踪精度？
• RQ3 中央聚焦窗口策略在定位任务中如何减少视觉变换器因下采样导致的信息损失？
• RQ4 在简化框架中，通用视觉任务上的预训练在多大程度上提升跟踪性能？
• RQ5 当主干网络已具备全面的特征交互能力时，是否仍需额外的解码器或交互头？

主要发现

• SimTrack 在 TNL2K 上达到 54.8% AUC，在 LaSOT 上达到 77.7% AUC，分别比基线 STARK-SV（ViT-B/16）提升 2.5 和 2.6 个百分点。
• 组件消融实验表明，仅添加 SimTrack 框架（+Sim）即可使 AUC 提升 1.3 个百分点，而中央聚焦窗口策略额外贡献 0.8 个百分点的增益。
• 位置嵌入与中央聚焦窗口策略均有效，但后者对性能影响更强。
• 移除解码器头对性能影响极小，证实主干网络本身已具备充分的交互能力。
• 将交互块数量从 100% 降低至 50% 导致 AUC 下降 2.5 个百分点，进一步减少至 25% 再次导致 2.5 个百分点的下降，证明持续交互至关重要。
• 可视化结果表明，SimTrack 从浅层到深层逐步聚焦于目标，而基线孪生模型则学习通用物体特征，缺乏对目标的特异性关注。