[论文解读] Fully Convolutional Online Tracking

Yutao Cui, Cheng Jiang+2 more|arXiv (Cornell University)|Apr 15, 2020

Video Surveillance and Tracking Methods被引用 15

一句话总结

该论文提出FCOT，一种全卷积在线跟踪框架，通过一种新颖的在线回归模型生成器（RMG），实现分类分支与回归分支的在线学习。通过采用基于目标滤波器的架构、无锚框框回归以及多尺度特征融合，FCOT在七个基准测试中达到最先进性能，包括在VOT2018上取得72.6%的AUC和在UAV123上取得65.6%的AUC，同时以超过40 FPS的实时速度运行。

ABSTRACT

Online learning has turned out to be effective for improving tracking performance. However, it could be simply applied for classification branch, but still remains challenging to adapt to regression branch due to its complex design and intrinsic requirement for high-quality online samples. To tackle this issue, we present the fully convolutional online tracking framework, coined as FCOT, and focus on enabling online learning for both classification and regression branches by using a target filter based tracking paradigm. Our key contribution is to introduce an online regression model generator (RMG) for initializing weights of the target filter with online samples and then optimizing this target filter weights based on the groundtruth samples at the first frame. Based on the online RGM, we devise a simple anchor-free tracker (FCOT), composed of a feature backbone, an up-sampling decoder, a multi-scale classification branch, and a multi-scale regression branch. Thanks to the unique design of RMG, our FCOT can not only be more effective in handling target variation along temporal dimension thus generating more precise results, but also overcome the issue of error accumulation during the tracking procedure. In addition, due to its simplicity in design, our FCOT could be trained and deployed in a fully convolutional manner with a real-time running speed. The proposed FCOT achieves the state-of-the-art performance on seven benchmarks, including VOT2018, LaSOT, TrackingNet, GOT-10k, OTB100, UAV123, and NFS. Code and models of our FCOT have been released at: \url{https://github.com/MCG-NJU/FCOT}.

研究动机与目标

• 为解决在视觉跟踪中对回归分支应用在线学习所面临的挑战，尤其是其复杂设计及对低质量样本的敏感性。
• 将分类与回归统一为全卷积、端到端可训练的框架，以提升效率与精度。
• 通过引入动态模型权重生成与真实标注校正机制，缓解在线回归中的误差累积问题。
• 通过具有粗到精融合的多尺度分类分支，增强对相似物体混淆的鲁棒性。
• 在遮挡、形变与尺度变化等复杂场景下实现高精度跟踪。

提出的方法

• 提出一种在线回归模型生成器（RMG），利用在线样本动态生成模型权重，并通过第一帧的真实标注进行校正。
• 采用全卷积编码器-解码器架构，结合可学习的上采样解码器，实现高分辨率特征预测。
• 设计无锚框回归头，直接预测边界框的四边偏移量，消除对锚框的依赖。
• 利用来自不同特征层的得分图，构建多尺度分类分支，以增强对相似物体的区分能力。
• 采用受元学习启发的优化策略，在在线跟踪过程中仅更新一半回归头权重，以平衡静态与自适应组件。
• 集成联合在线优化机制，同时优化分类器与回归器头，实现对目标特定外观变化的端到端自适应。

实验结果

研究问题

• RQ1 尽管设计复杂且对噪声样本敏感，是否能够有效将在线学习扩展至视觉跟踪中的回归分支？
• RQ2 如何在保持实时推理速度的前提下，缓解在线回归中的误差累积问题？
• RQ3 相较于现有无锚框跟踪器，基于目标滤波器设计的全卷积架构是否能实现更优的跟踪精度与鲁棒性？
• RQ4 在存在相似干扰物的情况下，多尺度分类在多大程度上提升了跟踪鲁棒性？
• RQ5 所提出的在线回归模型生成器是否在具有不同挑战的多样化基准上均带来一致的性能提升？

主要发现

• 在VOT2018基准上，FCOT取得72.6%的成功率与82.9%的精度，分别较DiMP和SiamFC++高出2%以上。
• 在UAV123数据集上，FCOT取得65.6%的AUC与87.3%的精度，优于先前的SOTA方法。
• 在OTB100数据集上，FCOT获得69.9%的成功率与92.2%的精度，相较DiMP分别提升0.9%与1.9%。
• 在NFS数据集上，FCOT取得62.7%的AUC与75.4%的精度，为无锚框跟踪器中的最高水平。
• 可视化结果表明，与DiMP相比，FCOT生成的边界框更精确，且对目标与相似物体的区分能力更强。
• 消融实验验证，多尺度分类策略通过深层特征增强鲁棒性，通过浅层特征提升精度，两者融合时性能达到最优。