[论文解读] Learning Spatial-Temporal Regularized Correlation Filters for Visual Tracking

Feng Li, Tian Cheng+3 more|arXiv (Cornell University)|Mar 23, 2018

Video Surveillance and Tracking Methods参考文献 2被引用 70

一句话总结

STRCF 将时间正则化引入 SRDCF，并采用 ADMM 求解，在多个基准测试上实现实时跟踪速度和相较于 SRDCF 的精度提升。

ABSTRACT

Discriminative Correlation Filters (DCF) are efficient in visual tracking but suffer from unwanted boundary effects. Spatially Regularized DCF (SRDCF) has been suggested to resolve this issue by enforcing spatial penalty on DCF coefficients, which, inevitably, improves the tracking performance at the price of increasing complexity. To tackle online updating, SRDCF formulates its model on multiple training images, further adding difficulties in improving efficiency. In this work, by introducing temporal regularization to SRDCF with single sample, we present our spatial-temporal regularized correlation filters (STRCF). Motivated by online Passive-Agressive (PA) algorithm, we introduce the temporal regularization to SRDCF with single sample, thus resulting in our spatial-temporal regularized correlation filters (STRCF). The STRCF formulation can not only serve as a reasonable approximation to SRDCF with multiple training samples, but also provide a more robust appearance model than SRDCF in the case of large appearance variations. Besides, it can be efficiently solved via the alternating direction method of multipliers (ADMM). By incorporating both temporal and spatial regularization, our STRCF can handle boundary effects without much loss in efficiency and achieve superior performance over SRDCF in terms of accuracy and speed. Experiments are conducted on three benchmark datasets: OTB-2015, Temple-Color, and VOT-2016. Compared with SRDCF, STRCF with hand-crafted features provides a 5 times speedup and achieves a gain of 5.4% and 3.6% AUC score on OTB-2015 and Temple-Color, respectively. Moreover, STRCF combined with CNN features also performs favorably against state-of-the-art CNN-based trackers and achieves an AUC score of 68.3% on OTB-2015.

研究动机与目标

• 解决视觉跟踪中辨识相关滤波器（DCFs）的边界效应。
• 提出一种时空正则化的 DCF（STRCF），通过时间正则化从单帧进行更新。
• 开发一个高效的基于 ADMM 的求解器，具有闭式子问题。
• 展示 STRCF 在大外观变化下提供鲁棒的外观模型，同时保持实时速度。

提出的方法

• 在 SRDCF 中引入时间正则化项 mu/2 * ||f - f_{t-1}||^2，形成 STRCF（Eq. 2）。
• 通过引入辅助变量 g 并交替更新，用 ADMM 求解凸性的 STRCF 目标。
• 在 f 子问题中，在傅里叶域对每个像素位置使用 Parseval 定理和 Sherman–Morrison 公式以提高效率（Eq. 9–12）。
• 在 g 子问题中，利用对角结构得到闭式解（Eq. 13）。
• 迭代更新 ADMM 惈罚参数 gamma（Eq. 14）。
• 计算复杂度分析为每帧 O(DMN log(MN))，总体成本为 O(DMN log(MN) NI)。
• 建立收敛性保证（凸问题；Eckstein–Bertsekas 条件）以及经验性两次迭代收敛。

实验结果

研究问题

• RQ1 STRCF 是否能在保持更高效率的同时，逼近在多张训练图像上学习的 SRDCF 模型？
• RQ2 引入时间正则化是否相较于 SRDCF 提升对外观变化和遮挡的鲁棒性？
• RQ3 时间正则化参数 mu 对跟踪性能有何影响？
• RQ4 STRCF 是否能在使用手工特征和深度特征的情况下实现实时性能，同时保持有竞争力的精度？

主要发现

• STRCF 在 OTB-2015 和 Temple-Color 上对 SRDCF 的平均 OP 提升约 5.7%。
• STRCF 使用手工特征实现实时运行（约 30 FPS），STRCF(HOG) 为 31.5 FPS，STRCF(HOGCN) 为 24.3 FPS。
• 带时间正则化的 STRCF 提供鲁棒更新，在 OV 和 OCC 属性上分别比 SRDCF 变体提升高达 14.5% 和 5.7%。
• DeepSTRCF（STRCF + CNN 特征）在 OTB-2015 上达到 84.2% 的平均 OP，比 DeepSRDCF 高出 7.4%。
• 在 VOT-2016 上，STRCF 的 EAO 为 0.279（STRCF），DeepSTRCF 为 0.313，CNN 增强变体中 DeepSTRCF 的 EAO 较高。
• 在 Temple-Color 数据集上，STRCF 与 ECO-HC 相竞争，DeepSTRCF 在该数据集上取得了所报道结果中的最佳性能。