[论文解读] Large Margin Object Tracking with Circulant Feature Maps

Mengmeng Wang, Yong Liu+1 more|arXiv (Cornell University)|Mar 15, 2017

Video Surveillance and Tracking Methods参考文献 28被引用 90

一句话总结

介绍 LMCF，一种快速的大边距跟踪方法，将结构化输出 SVM 与循环特征映射和相关滤波相结合，并加入多模态检测与高置信度更新以实现实时性能。它还扩展到使用 CNN 特征的 DeepLMCF。

ABSTRACT

Structured output support vector machine (SVM) based tracking algorithms have shown favorable performance recently. Nonetheless, the time-consuming candidate sampling and complex optimization limit their real-time applications. In this paper, we propose a novel large margin object tracking method which absorbs the strong discriminative ability from structured output SVM and speeds up by the correlation filter algorithm significantly. Secondly, a multimodal target detection technique is proposed to improve the target localization precision and prevent model drift introduced by similar objects or background noise. Thirdly, we exploit the feedback from high-confidence tracking results to avoid the model corruption problem. We implement two versions of the proposed tracker with the representations from both conventional hand-crafted and deep convolution neural networks (CNNs) based features to validate the strong compatibility of the algorithm. The experimental results demonstrate that the proposed tracker performs superiorly against several state-of-the-art algorithms on the challenging benchmark sequences while runs at speed in excess of 80 frames per second. The source code and experimental results will be made publicly available.

研究动机与目标

• 通过将结构化输出 SVM 与相关滤波加速相结合，推动实时视觉跟踪的发展。
• 通过多模态检测提高目标定位精度并减少模型漂移。
• 通过高置信度在线更新防止模型损坏。
• 证明与手工特征和深度 CNN 特征（DeepLMCF）都兼容。
• 在标准基准上将性能与最先进的跟踪器进行对比验证。

提出的方法

• 将跟踪-检测问题表述为一个使用目标补丁密集采样循环移位的大边距结构化 SVM。
• 将结构化 SVM 与相关滤波连接起来，以通过 FFT/DFT 运算实现快速在线优化。
• 提出多模态目标检测以处理多个响应峰并防止错误定位。
• 实现使用 F_max 和 APCE 的高置信度更新策略以决定何时更新模型。
• 通过核技巧扩展到非线性核，对非线性情况给出基于 alpha 的解。
• 提供一个 DeepLMCF 变体，使用来自 VGG-19 层的 CNN 特征并带有分层加权。

实验结果

研究问题

• RQ1 是否可以使用相关滤波技术对密集、循环移位样本高效地在线优化一个大边距结构化 SVM？
• RQ2 在干扰因素存在时，多模态目标检测是否提高定位精度并降低漂移？
• RQ3 高置信度在线更新策略是否能防止模型损坏并维持实时性能？
• RQ4 在所提出的框架中，手工特征与深度 CNN 特征相比如何，CNN 特征能否得到有效整合？
• RQ5 在标准基准（OTB-13/OTB-15）上的性能提升相对于最先进的跟踪器有多大？

主要发现

• LMCF 在 OTB-13 和 OTB-15 的 OPE、TRE、和 SRE 指标上，成为传统特征跟踪器中的最先进性能。
• 使用 CNN 特征的 DeepLMCF 进一步提高了精度和成功率，同时保持实时或近实时速度（DeepLMCF ~8.11 FPS 在一个度量上，快于若干基于 CNN 的跟踪器）。
• 多模态检测方法减少来自干扰物的错误检测并提高定位精度。
• 高置信度更新策略有助于在遮挡或错检时防止模型损坏，保持跟踪鲁棒性。
• LMCF 使用常规特征时超过 80 FPS，体现了实时性；DeepLMCF 的运行速度约为 10+ FPS，取决于硬件。