[论文解读] Robust Visual Object Tracking with Natural Language Region Proposal Network.

Qi Feng, Vitaly Ablavsky+2 more|arXiv (Cornell University)|Dec 4, 2019

Video Surveillance and Tracking Methods参考文献 20被引用 13

一句话总结

本文提出了一种新型的自然语言区域提议网络（NL-RPN），实现了孪生追踪器与自然语言描述的端到端训练，消除了对手动边界框初始化的需求。通过在共享搜索分支中融合语言与视觉特征，并利用历史样本实现自动追踪器重置，该方法在遮挡和漂移情况下表现出鲁棒性，在具有自然语言标注的基准测试中优于先前方法。

ABSTRACT

Tracking with natural-language (NL) specification is a powerful new paradigm to yield trackers that initialize without a manually-specified bounding box, stay on target in spite of occlusions, and auto-recover when diverged. These advantages stem in part from visual appearance and NL having distinct and complementary invariance properties. However, realizing these advantages is technically challenging: the two modalities have incompatible representations. In this paper, we present the first practical and competitive solution to the challenge of tracking with NL specification. Our first novelty is an NL region proposal network (NL-RPN) that transforms an NL description into a convolutional kernel and shares the search branch with siamese trackers; the combined network can be trained end-to-end. Secondly, we propose a novel formulation to represent the history of past visual exemplars and use those exemplars to automatically reset the tracker together with our NL-RPN. Empirical results over tracking benchmarks with NL annotations demonstrate the effectiveness of our approach.

研究动机与目标

• 为解决在无手动边界框标注的情况下初始化视觉追踪器的挑战，利用自然语言描述。
• 克服追踪中自然语言与视觉表征之间的模态差异。
• 利用视觉样本历史实现追踪器在漂移或遮挡后的自动恢复。
• 开发一种结合NL-RPN与孪生追踪器的端到端可训练框架，以提升鲁棒性。
• 在具有人工标注自然语言描述的追踪基准上验证该方法的有效性。

提出的方法

• 提出一种NL区域提议网络（NL-RPN），将自然语言描述转换为卷积核以生成区域提议。
• 在NL-RPN与孪生追踪器之间共享搜索分支，以实现端到端训练与特征对齐。
• 设计一种新的过去视觉样本历史表示方法，以指导自动追踪器重置。
• 将NL-RPN与孪生追踪器集成，联合优化视觉与基于语言的特征。
• 利用NL-RPN生成提议，而无需手动边界框初始化。
• 利用过去帧中的视觉样本检测目标丢失并触发自动重初始化。

实验结果

研究问题

• RQ1 自然语言描述能否有效用于初始化视觉追踪器，而无需手动边界框标注？
• RQ2 如何对齐自然语言与视觉表征以提升追踪鲁棒性？
• RQ3 能否利用过去的视觉样本自动检测并恢复追踪器的漂移或遮挡？
• RQ4 结合NL-RPN与孪生追踪的端到端可训练框架能否实现有竞争力的性能？
• RQ5 该方法在具有NL标注的基准测试中与现有追踪基线相比表现如何？

主要发现

• 所提出的NL-RPN仅依赖自然语言描述即可实现孪生追踪器的端到端训练，完全消除了手动初始化的需求。
• 通过利用视觉样本历史实现自动重置，该方法在遮挡和目标漂移情况下表现出鲁棒的追踪性能。
• NL-RPN与孪生追踪器的集成相比基线方法显著提升了追踪精度与稳定性。
• 该方法在具有NL标注序列的追踪基准上表现出有竞争力的性能。
• 该框架在目标描述的多样化视觉与语言变化中表现出良好的泛化能力。