[论文解读] DCFNet: Discriminant Correlation Filters Network for Visual Tracking

Qiang Wang, Jin Gao+3 more|arXiv (Cornell University)|Apr 13, 2017

Video Surveillance and Tracking Methods参考文献 21被引用 275

一句话总结

DCFNet 引入一个端到端网络，在其中学习卷积特征并在一个类似 Siamese 的结构中嵌入判别相关滤波器层，实现实时跟踪（>60 FPS）且准确性具有竞争力。

ABSTRACT

Discriminant Correlation Filters (DCF) based methods now become a kind of dominant approach to online object tracking. The features used in these methods, however, are either based on hand-crafted features like HoGs, or convolutional features trained independently from other tasks like image classification. In this work, we present an end-to-end lightweight network architecture, namely DCFNet, to learn the convolutional features and perform the correlation tracking process simultaneously. Specifically, we treat DCF as a special correlation filter layer added in a Siamese network, and carefully derive the backpropagation through it by defining the network output as the probability heatmap of object location. Since the derivation is still carried out in Fourier frequency domain, the efficiency property of DCF is preserved. This enables our tracker to run at more than 60 FPS during test time, while achieving a significant accuracy gain compared with KCF using HoGs. Extensive evaluations on OTB-2013, OTB-2015, and VOT2015 benchmarks demonstrate that the proposed DCFNet tracker is competitive with several state-of-the-art trackers, while being more compact and much faster.

研究动机与目标

• 以高效的、判别相关滤波器（DCF）推动在线对象跟踪。
• 在一个单一体系内开发一个端到端的 CNN，用以学习对 DCF 友好的特征。
• 通过在傅里叶域推导反向传播来保持 DCF 的效率。
• 通过一个轻量级、类似递归的机制实现模型的在线更新。
• 在标准跟踪基准上展示实时性能和有竞争力的准确性。

提出的方法

• 将 DCF 视为嵌入在 Siamese 网络中的一个特殊相关滤波器层，以实现端到端学习。
• 在傅里叶域对 DCF 层进行反向传播推导以保持效率。
• 训练一个轻量级的 CNN 特征提取器（来自 VGG 的 conv1，且不使用池化）以产生 DCF 层使用的 φ(x)。
• 将在线跟踪表述为以增量（RNN-like）方式更新 DCF 滤波器 w，使用 Eq. (13)。
• 将网络输出定义为对象位置的概率热图 g，并优化 L = ||g - ĝ||^2 + γ||θ||^2。
• 通过 LRN 层以及带正则化 λ 的标准 DCF 岭回归来保持稳定性。

实验结果

研究问题

• RQ1 如何将判别相关滤波器集成为 CNN 中的可微分层，以实现端到端的跟踪训练？
• RQ2 端到端学习的、为 DCF 跟踪定制的特征是否在保持 DCF 高效傅里叶域计算的同时提升准确性？
• RQ3 在一个轻量级的 DCFNet 中，网络深度和尺度级别对跟踪性能和速度有什么影响？
• RQ4 在线增量更新（RNN-like）在随时间维持跟踪性能方面有多有效？
• RQ5 在标准基准（OTB2013/2015，VOT2015）上，DCFNet 在准确性和速度方面的表现如何？

主要发现

• 在测试期间，DCFNet 的运行速率超过 60 FPS。
• 端到端学习的特征相对于手工特征 HoG 的 DCF 跟踪器带来提升，在 OTB2015 的成功率曲线中相对于 KCF 提高约 10%，相对于 DSST 提高 6.2%（使用 HoG）。
• 一个轻量级网络（75 KB），基于 conv1 的特征，在精度方面具有竞争力，且比更深的 CNN 跟踪器运行更快。
• 在 OTB2015 上，DCFNet 展现出显著的准确性提升（相对于 KCF 10%；相对于 DSST 6.2%），同时保持实时性能。
• 消融研究表明，在给定有限的训练数据时，较深的网络不一定提升性能；扩张卷积和单卷积变体可以提供更好的参数效率和准确性。
• 在 VOT2015 上，DCFNet 在性能和速度之间取得平衡，与 KCF、MUSTer 等最新追踪器具有竞争力。