[论文解读] Convolutional Regression for Visual Tracking

Kai Chen, Wenbing Tao|arXiv (Cornell University)|Nov 14, 2016

Video Surveillance and Tracking Methods参考文献 21被引用 7

一句话总结

本文提出了一种用于视觉追踪的卷积回归框架（CRT），该框架用通过梯度优化的一通道卷积层替代了传统的判别相关滤波器（DCF），从而从真实、非合成样本中学习回归模型。通过引入无限量的真实负样本并采用自动难负样本挖掘策略，CRT在OTB-100和OTB-50上实现了最先进性能，显著优于所有现有的DCF基追踪器。

ABSTRACT

Recently, discriminatively learned correlation filters (DCF) has drawn much attention in visual object tracking community. The success of DCF is potentially attributed to the fact that a large amount of samples are utilized to train the ridge regression model and predict the location of object. To solve the regression problem in an efficient way, these samples are all generated by circularly shifting from a search patch. However, these synthetic samples also induce some negative effects which weaken the robustness of DCF based trackers. In this paper, we propose a Convolutional Regression framework for visual tracking (CRT). Instead of learning the linear regression model in a closed form, we try to solve the regression problem by optimizing a one-channel-output convolution layer with Gradient Descent (GD). In particular, the receptive field size of the convolution layer is set to the size of object. Contrary to DCF, it is possible to incorporate all "real" samples clipped from the whole image. A critical issue of the GD approach is that most of the convolutional samples are negative and the contribution of positive samples will be suppressed. To address this problem, we propose a novel Automatic Hard Negative Mining method to eliminate easy negatives and enhance positives. Extensive experiments are conducted on a widely-used benchmark with 100 sequences. The results show that the proposed algorithm achieves outstanding performance and outperforms almost all the existing DCF based algorithms.

研究动机与目标

• 为解决判别相关滤波器（DCF）的局限性，后者依赖于包含过多背景上下文的合成循环移位样本，从而限制了鲁棒性。
• 开发一种更有效的基于回归的视觉追踪框架，能够在训练和推理过程中利用图像中全部真实、非合成样本。
• 通过引入自动难负样本挖掘策略，缓解追踪中的类别不平衡问题，即负样本占比超过95%，以增强正样本并抑制简单负样本。
• 通过结合深度特征与可微、端到端可训练的回归模型，在标准基准上实现最先进性能。

提出的方法

• 所提出的CRT框架使用一个感受野大小等于目标尺寸的一通道输出卷积层，在整个图像块上执行回归。
• 与以闭式解法求解岭回归不同，模型参数（权重和偏置）通过随机梯度下降（SGD）结合反向传播进行优化，以最小化回归损失。
• 该框架利用滑动窗口从完整图像中提取真实样本，避免了DCF和SRDCF中固有的合成采样偏差。
• 引入了一种自动难负样本挖掘方法：截断损失函数抑制简单负样本，加权损失函数增强正样本在训练中的贡献。
• 该方法兼容深度特征（如VGG-conv-10），并可集成于TensorFlow和Caffe等深度学习框架中。
• 通过过滤掉简单负样本并集中优化难、信息量大的样本，训练过程得以加速，提升了收敛速度。

实验结果

研究问题

• RQ1 可微分、通过梯度优化的卷积层是否能在视觉追踪中优于岭回归的闭式解？
• RQ2 使用真实、非合成样本替代循环移位的合成样本，是否能提升追踪器的鲁棒性和准确性？
• RQ3 自动难负样本挖掘能否有效缓解追踪中负样本远多于正样本的类别不平衡问题？
• RQ4 所提出的卷积回归框架在OTB-100和OTB-50等标准基准上与最先进DCF基追踪器相比表现如何？

主要发现

• CRT在OTB-100和OTB-50的精度和成功率图上均取得第一，显著优于所有现有DCF基追踪器。
• 在更具挑战性的OTB-50基准上，CRT相比此前最先进DCF基追踪器DeepSRDCF，精度提升8%，成功率提升6%。
• 在OTB-100的全部11个属性中，CRT在距离精度（DP）上取得最高分，尤其在尺度变化、平面外旋转和低分辨率属性上，较第二名提升超过5个百分点。
• 定性结果表明，CRT在严重形变、旋转和背景杂波条件下仍能成功追踪目标，而SRDCF和KCF等DCF基追踪器则容易漂移到背景中。
• 自动难负样本挖掘方法显著加速了训练过程，通过过滤简单负样本并聚焦于难、信息量大的样本，提升了优化效率。
• 由于广泛使用真实负样本，CRT在尺度变化和低分辨率等挑战性场景中表现出更优的鲁棒性和准确性。