[论文解读] A Structural Correlation Filter Combined with A Multi-task Gaussian Particle Filter for Visual Tracking

Manna Dai, Shuying Cheng+2 more|arXiv (Cornell University)|Mar 3, 2018

Video Surveillance and Tracking Methods参考文献 5被引用 3

一句话总结

本文提出KCF-GPF，一种新颖的视觉追踪框架，通过将多个结构相关滤波器（KCF）作为弱专家与多任务高斯粒子滤波器（GPF）融合，以增强鲁棒性。通过利用空间-几何一致性与可靠性加权融合，该方法在OTB-2013数据集上实现了最先进性能，在50个具有挑战性的序列中，精度与成功度量均优于16种最先进追踪器。

ABSTRACT

In this paper, we propose a novel structural correlation filter combined with a multi-task Gaussian particle filter (KCF-GPF) model for robust visual tracking. We first present an assemble structure where several KCF trackers as weak experts provide a preliminary decision for a Gaussian particle filter to make a final decision. The proposed method is designed to exploit and complement the strength of a KCF and a Gaussian particle filter. Compared with the existing tracking methods based on correlation filters or particle filters, the proposed tracker has several advantages. First, it can detect the tracked target in a large-scale search scope via weak KCF trackers and evaluate the reliability of weak trackers q decisions for a Gaussian particle filter to make a strong decision, and hence it can tackle fast motions, appearance variations, occlusions and re-detections. Second, it can effectively handle large-scale variations via a Gaussian particle filter. Third, it can be amenable to fully parallel implementation using importance sampling without resampling, thereby it is convenient for VLSI implementation and can lower the computational costs. Extensive experiments on the OTB-2013 dataset containing 50 challenging sequences demonstrate that the proposed algorithm performs favourably against 16 state-of-the-art trackers.

研究动机与目标

• 解决基于相关滤波器的追踪器在处理快速运动、遮挡、尺度变化和外观变化方面的局限性。
• 通过集成弱专家，克服高维状态空间中粒子滤波器的不稳定性与初始化不佳问题。
• 通过弱追踪器决策的可靠性评估与多任务粒子滤波，提升追踪鲁棒性。
• 通过重要性采样实现无重采样，确保计算成本低，支持高效并行化实现。
• 利用连续帧中目标位置之间的空间-几何关系，构建可扩展且可靠的搜索机制。

提出的方法

• 部署多个KCF追踪器作为弱专家，每个均使用HOG与灰度特征生成初步目标位置估计。
• 利用连续帧间的空间-几何约束，为弱专家决策定义大规模且可靠的搜索区域。
• 为每个弱专家计算置信度图，以评估决策可靠性，该置信度图用作高斯粒子滤波器（GPF）中的权重。
• 实现多任务GPF，同时在粒子上评估HOG与灰度特征，实现鲁棒的状态估计。
• 采用重要性采样而无需重采样，以保持计算效率，并支持VLSI友好的全并行实现。
• 通过GPF中的加权组合融合弱专家输出，其中粒子状态基于可靠性加权的置信度图进行更新。

实验结果

研究问题

• RQ1 多专家集成的结构相关滤波器是否能提升在遮挡与外观变化下的追踪鲁棒性？
• RQ2 连续帧中目标位置之间的空间-几何一致性如何提升大规模追踪中的搜索可靠性？
• RQ3 在高斯粒子滤波器中采用可靠性加权融合策略，是否能优于标准粒子滤波器以应对快速运动与尺度变化？
• RQ4 与单特征方法相比，基于HOG与灰度特征的多任务粒子滤波在追踪精度上提升程度如何？
• RQ5 所提出的框架是否能通过无重采样、基于重要性采样的GPF实现高性能与低计算成本？

主要发现

• KCF-GPF在OTB-2013基准上取得最高的平均AUC得分，成功率为0.624，精度为0.572，优于16种最先进追踪器。
• 在全部11项具有挑战性的属性（如遮挡、形变、快速运动）中，该方法排名前三，尤其在非平面旋转与形变方面表现最佳。
• 定性结果表明，KCF-GPF在严重遮挡、光照变化与快速运动下仍能保持高追踪精度，而基线追踪器如KCF与CFNet常出现漂移。
• 可靠性加权融合机制显著提升了决策鲁棒性，尤其在部分遮挡与尺度变化情况下。
• 基于GPF的多任务追踪结合重要性采样，实现了高效并行计算，相比基于重采样的方法计算成本更低。
• 基于空间-几何一致性的大规模搜索策略，有效实现了遮挡后的重新检测，提升了恢复性能。