[论文解读] Learning Spatial-Aware Regressions for Visual Tracking

Chong Sun, Dong Wang+2 more|arXiv (Cornell University)|Jun 22, 2017

Video Surveillance and Tracking Methods参考文献 29被引用 6

一句话总结

本文提出LSART，一种新颖的视觉跟踪方法，结合空间感知核化岭回归（KRR）与空间正则化的卷积神经网络（CNN）。通过建模跨块相似性并强制局部滤波响应，该方法提升了对遮挡和运动的鲁棒性。在VOT-2017上实现了最先进性能，相较于第二名跟踪器，EAO相对提升达12.94%。

ABSTRACT

In this paper, we analyze the spatial information of deep features, and propose two complementary regressions for robust visual tracking. First, we propose a kernelized ridge regression model wherein the kernel value is defined as the weighted sum of similarity scores of all pairs of patches between two samples. We show that this model can be formulated as a neural network and thus can be efficiently solved. Second, we propose a fully convolutional neural network with spatially regularized kernels, through which the filter kernel corresponding to each output channel is forced to focus on a specific region of the target. Distance transform pooling is further exploited to determine the effectiveness of each output channel of the convolution layer. The outputs from the kernelized ridge regression model and the fully convolutional neural network are combined to obtain the ultimate response. Experimental results on two benchmark datasets validate the effectiveness of the proposed method.

研究动机与目标

• 为解决传统KRR与基于CNN的跟踪器在建模空间结构方面不足，以及存在过拟合或定位不佳的问题。
• 通过显式建模深层特征中各块之间的空间关系，提升跟踪的鲁棒性。
• 开发一种互补学习框架，其中KRR捕捉目标的整体结构，而CNN专注于局部区域。
• 通过在CNN滤波器核上施加空间约束，减少过拟合并增强泛化能力。
• 在基准数据集上实现最先进性能，尤其在具有挑战性的条件下表现优异。

提出的方法

• 提出一种基于跨块相似性核的核化岭回归模型，其中相似性得分被加权并与其回归系数联合优化。
• 将KRR模型重构为可微神经网络，以支持端到端训练与高效优化。
• 在全卷积网络中引入空间正则化滤波器核，强制每个输出通道对目标的特定局部区域产生响应。
• 采用距离变换池化来评估每个特征图响应的可靠性，并指导有效训练。
• 采用两阶段训练策略以有效更新CNN参数并减少过拟合，包括使用旋转增强的数据增强技术。
• 将KRR与CNN模型生成的热力图进行融合，生成最终更精确的响应图以实现目标定位。

实验结果

研究问题

• RQ1 在深层特征中建模跨块相似性是否能提升核化岭回归在视觉跟踪中的鲁棒性？
• RQ2 对CNN滤波器核施加空间正则化是否能提升定位精度并减少过拟合？
• RQ3 结合空间感知KRR与空间感知CNN模型是否能优于单一模型？
• RQ4 所提方法在近期基准如VOT-2017上与最先进跟踪器相比表现如何？
• RQ5 各组件（CPS与SRK）对整体跟踪性能的贡献分别是什么？

主要发现

• LSART跟踪器在VOT-2017基准上取得最高EAO得分，相较于第二名跟踪器（CFCF）实现12.94%的相对提升。
• 在VOT-2017数据集上，LSART在不使用手工设计特征的情况下仍取得0.275的EAO，优于CCOT，并在顶尖跟踪器中保持竞争力。
• 消融实验表明，结合跨块相似性（CPS）与空间正则化核（SRK）模块后，相较于基线方法，精度提升9.75%，AUC提升10.89%。
• 仅使用CPS模块相比基线方法，精度提升5.35%，成功图表现提升6.93%。
• 仅使用SRK模块即带来精度相对提升4.8%与AUC相对提升5.2%，证明其有效性。
• 在OTB-2015上，LSART方法取得0.606的成功率与0.841的精度，组件融合带来显著性能提升。