[论文解读] Alpha-Refine: Boosting Tracking Performance by Precise Bounding Box Estimation

Bin Yan, Dong Wang+2 more|arXiv (Cornell University)|Jul 4, 2020

Video Surveillance and Tracking Methods参考文献 69被引用 20

一句话总结

Alpha-Refine 提出了一种新颖、灵活且精确的视觉跟踪精炼模块，通过像素级相关性层和空间感知非局部层增强边界框估计，实现对边界框、角点和分割掩码的精确预测。通过集成轻量级分支选择器以实现最优输出选择，该方法在TrackingNet、LaSOT和VOT2018基准上实现了五种领先追踪器的最先进性能。

ABSTRACT

In recent years, the multiple-stage strategy has become a popular trend for visual tracking. This strategy first utilizes a base tracker to coarsely locate the target and then exploits a refinement module to obtain more accurate results. However, existing refinement modules suffer from the limited transferability and precision. In this work, we propose a novel, flexible and accurate refinement module called Alpha-Refine, which exploits a precise pixel-wise correlation layer together with a spatial-aware non-local layer to fuse features and can predict three complementary outputs: bounding box, corners and mask. To wisely choose the most adequate output, we also design a light-weight branch selector module. We apply the proposed Alpha-Refine module to five famous and state-of-the-art base trackers: DiMP, ATOM, SiamRPN++, RTMDNet and ECO. The comprehensive experiments on TrackingNet, LaSOT and VOT2018 benchmarks demonstrate that our approach significantly improves the tracking performance in comparison with other existing refinement methods. The source codes will be available at https://github.com/MasterBin-IIAU/AlphaRefine.

研究动机与目标

• 解决现有多阶段视觉跟踪流水线中精炼模块的迁移能力有限和精度不足的问题。
• 开发一种统一的精炼模块，能够预测三种互补输出：边界框、角点和分割掩码。
• 通过轻量级分支选择器实现动态选择最合适的输出，以提升鲁棒性和准确性。
• 通过将精炼模块与最先进基线追踪器集成，提升在多样化基准上的跟踪性能。

提出的方法

• 引入像素级相关性层，捕捉模板与搜索区域之间的细粒度特征交互，以实现精确定位。
• 采用空间感知非局部层，聚合长距离上下文特征，同时保留空间结构，以增强特征表示。
• 生成三种并行输出：边界框、目标角点和分割掩码，每种输出均针对特定跟踪场景进行优化。
• 设计轻量级分支选择器模块，根据特征置信度和上下文动态选择最合适的输出。
• 将 Alpha-Refine 模块作为即插即用的精炼头，集成到 DiMP、ATOM、SiamRPN++、RTMDNet 和 ECO 等现有基线追踪器中。
• 端到端联合训练精炼模块与基线追踪器，利用多任务学习提升泛化能力和精度。

实验结果

研究问题

• RQ1 一种能够同时预测多种互补输出（边界框、角点、掩码）的统一精炼模块，是否能在多样化跟踪场景中提升跟踪精度和鲁棒性？
• RQ2 像素级相关性层与空间感知非局部层的结合，在提升特征融合以实现精确定位方面效果如何？
• RQ3 轻量级分支选择器在不同跟踪条件下通过选择最适配输出，能在多大程度上提升性能？
• RQ4 Alpha-Refine 模块在不同最先进基线追踪器和基准上的可迁移性如何？

主要发现

• Alpha-Refine 在 TrackingNet 基准上显著提升了跟踪性能，与五种领先基线追踪器集成后达到最先进结果。
• 该方法在 LaSOT 基准上表现出一致的性能提升，尤其在处理长时跟踪挑战和显著外观变化方面表现优异。
• 在 VOT2018 基准上，Alpha-Refine 提升了鲁棒性和准确性，在 EAO（期望平均重叠）和准确率方面优于现有精炼方法。
• 消融实验证实，像素级相关性层和空间感知非局部模块均对性能提升有显著贡献。
• 轻量级分支选择器能有效识别在不同跟踪条件下最合适的输出（边界框、角点或掩码），从而提升整体可靠性。
• 源代码已公开于 https://github.com/MasterBin-IIAU/AlphaRefine，支持可复现性与进一步研究。