[论文解读] CiteTracker: Correlating Image and Text for Visual Tracking

Xin Li, Yuqing Huang+4 more|arXiv (Cornell University)|Aug 22, 2023

Video Surveillance and Tracking Methods被引用 5

一句话总结

CiteTracker 提出了一种新颖的视觉跟踪框架，通过从图像块生成描述性文本，并利用基于注意力的模块将这些文本与搜索图像相关联，从而增强目标建模。通过利用语言信号获得更抽象、更稳定的表征，该方法在五个基准数据集上实现了最先进（SOTA）的性能，展现出对外观变化和不良初始化的优越鲁棒性。

ABSTRACT

Existing visual tracking methods typically take an image patch as the reference of the target to perform tracking. However, a single image patch cannot provide a complete and precise concept of the target object as images are limited in their ability to abstract and can be ambiguous, which makes it difficult to track targets with drastic variations. In this paper, we propose the CiteTracker to enhance target modeling and inference in visual tracking by connecting images and text. Specifically, we develop a text generation module to convert the target image patch into a descriptive text containing its class and attribute information, providing a comprehensive reference point for the target. In addition, a dynamic description module is designed to adapt to target variations for more effective target representation. We then associate the target description and the search image using an attention-based correlation module to generate the correlated features for target state reference. Extensive experiments on five diverse datasets are conducted to evaluate the proposed algorithm and the favorable performance against the state-of-the-art methods demonstrates the effectiveness of the proposed tracking method.

研究动机与目标

• 为解决视觉跟踪中单张图像块参考的局限性，这些方法在面对外观变化和模糊性时表现不佳。
• 通过利用语言信号改善目标表征，语言信号能提供比图像本身更抽象、更精确的概念。
• 开发一种动态文本特征生成机制，使其能够随目标随时间的变化而自适应调整。
• 通过基于注意力的相关性模块融合图像与文本特征，提升跟踪精度与鲁棒性。

提出的方法

• 采用提示学习方法，基于预定义的开放词汇类别与属性标签，以 CLIP 作为主干网络，开发文本生成模块，从目标图像块生成描述性文本。
• 动态描述模块生成可随目标外观变化而演化的自适应文本特征，从而提升对姿态、光照和遮挡变化的鲁棒性。
• 基于注意力的相关性模块融合生成的文本描述与搜索图像的特征，生成用于目标状态预测的相关特征。
• 将图像-文本相关性整合进跟踪流程中，用语言增强的表征替代传统仅依赖图像的参考。
• 采用对比损失进行端到端训练，以对齐图像与文本特征，优化定位准确性。
• 在五个多样化数据集（包括 GOT-10K、LaSOT、TrackingNet、OTB100 和 TNL2K）上评估该方法，并通过消融实验验证各组件的有效性。

实验结果

研究问题

• RQ1 从图像块生成的文本描述是否能在外观变化下提升视觉跟踪中的目标表征？
• RQ2 动态文本特征自适应机制如何随时间提升跟踪鲁棒性？
• RQ3 图像-文本相关性在处理具有挑战性的跟踪场景时，相较于纯视觉相关性，优势有多大？
• RQ4 在初始化不良或目标样本质量较低的情况下，该方法表现如何？
• RQ5 当视觉线索模糊或具有误导性时，语言信号是否能稳定跟踪过程？

主要发现

• CiteTracker 在全部五个基准数据集（GOT-10K、LaSOT、TrackingNet、OTB100 和 TNL2K）上均实现了最先进性能。
• 引入属性描述使 OTB2015 上的精度提升 1.6%，TNL2K 上提升 0.5%，验证了其对鲁棒性的贡献。
• 动态描述生成模块使 OTB2015 上的 AUC 性能提升 0.3%，GOT-10K 上提升 0.2%，TNL2K 上提升 0.3%，证明了其有效性。
• CiteTracker 在初始化不良方面表现出更优的鲁棒性，在 OTB 数据集上的 TRE-worst 指标相比 OSTrack 提升 3.6%。
• 可视化结果表明，即使在帧间变化剧烈的情况下，生成的文本描述仍保持一致，支持稳定的目标识别。
• 在 Bolt、Ironman、YellowPeople 和 James 等具有挑战性的序列中，CiteTracker 能够维持准确跟踪，而 OSTrack 在运动模糊、光照变化和对抗性干扰下出现失败，凸显了本方法的优势。