[论文解读] Deep Attentive Tracking via Reciprocative Learning

Shi Pu, Yibing Song+3 more|arXiv (Cornell University)|Oct 9, 2018

Video Surveillance and Tracking Methods参考文献 42被引用 8

一句话总结

该论文提出了一种互惠学习框架，通过在训练过程中使用基于梯度的注意力图作为正则化项，将视觉注意力整合到深度检测跟踪网络中。与现有方法中添加独立注意力模块不同，该方法通过反向传播分类得分来生成注意力图，引导分类器聚焦于时间上稳定的特征，从而在OTB-2013、OTB-2015和VOT-2016基准测试中实现了最先进性能。

ABSTRACT

Visual attention, derived from cognitive neuroscience, facilitates human perception on the most pertinent subset of the sensory data. Recently, significant efforts have been made to exploit attention schemes to advance computer vision systems. For visual tracking, it is often challenging to track target objects undergoing large appearance changes. Attention maps facilitate visual tracking by selectively paying attention to temporal robust features. Existing tracking-by-detection approaches mainly use additional attention modules to generate feature weights as the classifiers are not equipped with such mechanisms. In this paper, we propose a reciprocative learning algorithm to exploit visual attention for training deep classifiers. The proposed algorithm consists of feed-forward and backward operations to generate attention maps, which serve as regularization terms coupled with the original classification loss function for training. The deep classifier learns to attend to the regions of target objects robust to appearance changes. Extensive experiments on large-scale benchmark datasets show that the proposed attentive tracking method performs favorably against the state-of-the-art approaches.

研究动机与目标

• 解决视频序列中对象经历显著外观变化时的跟踪挑战。
• 在不依赖外部注意力模块的前提下，提升检测跟踪框架中深度分类器的判别能力。
• 通过端到端训练结合注意力正则化，使深度分类器学会关注时间上一致的稳定特征。
• 通过利用基于梯度的注意力图作为监督信号，减少背景干扰并提高定位精度。

提出的方法

• 该方法通过深度网络对输入样本进行前向传播，计算分类得分。
• 然后从最后一层向输入层进行反向传播，计算分类得分相对于输入的偏导数。
• 在输入层得到的梯度图被解释为注意力图，指示像素对分类的重要性。
• 该注意力图被用作损失函数中的正则化项，与原始分类损失结合进行训练。
• 通过标准反向传播训练网络，使分类器能够学会随时间关注具有判别性的目标区域。
• 在推理阶段，不生成注意力图；训练好的分类器直接对每个候选框预测得分。

实验结果

研究问题

• RQ1 基于梯度的注意力图能否有效正则化深度分类器，从而提升跟踪鲁棒性？
• RQ2 结合注意力正则化的端到端训练是否优于使用独立注意力模块的方法？
• RQ3 分类器能否在无显式注意力模块的情况下学会关注时间上一致的特征？
• RQ4 所提方法在大规模基准测试中与最先进跟踪器相比表现如何？

主要发现

• 在OTB-2013数据集上，所提跟踪器的中心定位误差为13.99，重叠成功率为0.860，优于基线MDNet。
• 在OTB-2015上，该方法的中心定位误差为14.65，重叠成功率为0.780，尽管未使用连续采样，仍表现出强劲性能。
• 在VOT-2016上，跟踪器的EAO得分为0.320，在7个对比跟踪器中排名第二，准确率排名为1.47，鲁棒性排名为2.10。
• 即使未在辅助数据上进行离线预训练，该方法在中心定位误差和成功率上也显著优于基线MDNet。
• 所提方法在所有三个基准数据集上均达到最先进性能，证明了基于梯度注意力的互惠学习的有效性。