[论文解读] High-speed Tracking with Multi-kernel Correlation Filters

Ming Tang, Bin Yu+2 more|arXiv (Cornell University)|Jun 17, 2018

Video Surveillance and Tracking Methods被引用 6

一句话总结

本文提出MKCFup，一种高速视觉跟踪方法，通过在核化相关滤波器中使用上界优化重构多核学习（MKL），显著减少核之间的相互干扰，从而提升相关滤波跟踪器的性能。该方法在150 fps下实现SOTA精度，AUC分别较KCF和MKCF提升16%和7%，尤其在小运动序列上表现优异。

ABSTRACT

Correlation filter (CF) based trackers are currently ranked top in terms of their performances. Nevertheless, only some of them, such as KCF~\cite{henriques15} and MKCF~\cite{tangm15}, are able to exploit the powerful discriminability of non-linear kernels. Although MKCF achieves more powerful discriminability than KCF through introducing multi-kernel learning (MKL) into KCF, its improvement over KCF is quite limited and its computational burden increases significantly in comparison with KCF. In this paper, we will introduce the MKL into KCF in a different way than MKCF. We reformulate the MKL version of CF objective function with its upper bound, alleviating the negative mutual interference of different kernels significantly. Our novel MKCF tracker, MKCFup, outperforms KCF and MKCF with large margins and can still work at very high fps. Extensive experiments on public datasets show that our method is superior to state-of-the-art algorithms for target objects of small move at very high speed.

研究动机与目标

• 解决现有多核相关滤波（MKCF）跟踪器相较于核化相关滤波（KCF）性能提升有限且计算成本高的问题。
• 减少MKCF中不同核之间的负面相互干扰，以提升判别能力而不损失速度。
• 在显著提升跟踪精度的同时，通过新颖的优化框架保持高推理速度（fps）。
• 实现对互补特征和非线性核在基于相关滤波的跟踪中有效利用，以提升鲁棒性。
• 在小运动序列上实现卓越性能，此类序列对高速与高精度跟踪至关重要。

提出的方法

• 通过其上界重构MKCF目标函数，以解耦核学习并减少核之间的干扰。
• 将历史样本引入上界公式化中，以提升模型稳定性和跟踪鲁棒性。
• 使用高效的迭代方案优化对偶变量向量d，相比先前的MKCF方法提升了训练效率。
• 利用相关滤波器的循环矩阵结构，保持傅里叶域计算的高效性，从而维持高速推理。
• 应用多核学习（MKL）结合非线性核（如RBF、多项式）以增强判别能力，同时保持计算效率。
• 采用空间正则化与样本加权策略，减轻边界效应，提升定位精度。

实验结果

研究问题

• RQ1 MKCF中核之间的相互干扰是否能被有效减少，从而在不增加计算成本的前提下提升跟踪精度？
• RQ2 对MKCF目标函数上界进行优化，是否相比原始公式化能带来更好的泛化能力与判别性能？
• RQ3 通过将MKL与相关滤波结合，能否在保持fps高于100的前提下实现高速且高精度的跟踪器？
• RQ4 所提方法在小目标运动序列上的表现如何，此类序列对高精度与高速度至关重要？
• RQ5 与ECO_HC或SRDCF相比，高速跟踪器如MKCFup在搜索区域大小与跟踪精度之间的权衡如何？

主要发现

• MKCFup在OTB2013数据集上的平均AUC为64.1%，相比MKCF提升6.8%，相比fMKCF提升4.9%。
• 在OTB2013的小运动序列上，MKCFup相比SRDCF平均精度提升3.1%，AUC提升2.7%；相比ECO_HC分别提升1.6%和1.5%。
• 在NfS的小运动序列上，MKCFup相比SRDCF平均精度提升7.6%，AUC提升6.6%；相比ECO_HC分别提升0.5%和2.1%。
• MKCFup运行速度达150 fps，显著快于MKCF（30 fps）和ECO_HC（39 fps），同时在小运动序列上精度更高。
• MKCFup相比KCF的AUC提升16%，相比KCFscale的AUC提升7%，表明判别能力有显著提升。
• 尽管搜索区域小于ECO_HC，MKCFup在小运动序列上仍表现更优，表明其具备更优的特征判别力与定位精度。