[论文解读] Deformable Parts Correlation Filters for Robust Visual Tracking

Alan Lukežič, Luka Čehovin Zajc+1 more|arXiv (Cornell University)|May 12, 2016

Video Surveillance and Tracking Methods参考文献 3被引用 11

一句话总结

本文提出了一种可变形部件相关滤波跟踪器（DPT），通过全连接弹簧系统联合建模几何与视觉约束，将粗粒度相关滤波器与中层可变形部件模型相结合。该方法在OTB、VOT2014和VOT2015基准测试中实现了最先进性能，具备实时速度，显著降低了失败率并提升了重叠度指标，优于整体模型与基于部件的基线方法。

ABSTRACT

Deformable parts models show a great potential in tracking by principally addressing non-rigid object deformations and self occlusions, but according to recent benchmarks, they often lag behind the holistic approaches. The reason is that potentially large number of degrees of freedom have to be estimated for object localization and simplifications of the constellation topology are often assumed to make the inference tractable. We present a new formulation of the constellation model with correlation filters that treats the geometric and visual constraints within a single convex cost function and derive a highly efficient optimization for MAP inference of a fully-connected constellation. We propose a tracker that models the object at two levels of detail. The coarse level corresponds a root correlation filter and a novel color model for approximate object localization, while the mid-level representation is composed of the new deformable constellation of correlation filters that refine the object location. The resulting tracker is rigorously analyzed on a highly challenging OTB, VOT2014 and VOT2015 benchmarks, exhibits a state-of-the-art performance and runs in real-time.

研究动机与目标

• 解决整体相关滤波跟踪器在处理非刚性形变和遮挡时的局限性。
• 克服完全连接的基于部件模型在视觉跟踪中计算成本高且不稳定的缺点。
• 为凸的、完全连接的可变形部件模型中的MAP推理开发一种高效的优化方法。
• 将粗粒度外观模型与中层可变形部件模型相结合，以提升跟踪的鲁棒性与准确性。
• 在保持最先进性能的同时实现实时运行。

提出的方法

• 将可变形部件模型公式化为一个凸能量函数，将视觉似然（通过相关滤波器）与几何约束（弹簧系统）整合到单一优化问题中。
• 提出一种新颖的颜色基粗粒度模型，用于快速近似的目标定位，减少早期帧中对细粒度部件估计的依赖。
• 使用在线回归更新部件外观模型为类高斯似然，实现高效的判别式跟踪。
• 采用全连接弹簧系统建模几何约束，实现灵活的形变建模并增强对部分遮挡的鲁棒性。
• 推导出一种高效的迭代直接法（IDA）优化器，用于能量函数的对偶形式，确保快速收敛与数值稳定性。
• 实施自顶向下定位与自底向上更新策略：粗粒度滤波器引导部件定位，部件响应则用于优化整体估计。

实验结果

研究问题

• RQ1 能否在实时视觉跟踪中高效优化全连接的可变形部件模型？
• RQ2 将粗粒度外观模型与中层可变形部件模型结合，是否能提升对形变与遮挡的鲁棒性？
• RQ3 相关滤波器能否被有效扩展到基于部件的模型中，同时保持速度与精度？
• RQ4 与星型或局部连接拓扑结构相比，所提出的弹簧系统公式化在跟踪性能上表现如何？
• RQ5 与最先进整体模型与基于部件的跟踪器相比，该方法在多大程度上降低了失败率并提升了重叠度指标？

主要发现

• DPT跟踪器在OTB、VOT2014和VOT2015基准测试中达到最先进性能，分别优于29、38和60个跟踪器。
• 尽管其架构中使用了五个KCF，与基线KCF相比，失败率仍降低了近60%。
• 预期平均重叠度较KCF提升超过80%，且OTB平均重叠度提升约30%。
• 迭代直接法（IDA）优化器相比共轭梯度下降法收敛速度显著更快，且在部件数量增加时表现出更强的数值鲁棒性。
• 全连接星型模型对性能贡献显著，消融研究显示其在长期部分遮挡与快速外观变化下具有更强的鲁棒性。
• 该方法在部件数量增加时仍具有良好可扩展性，表明其有潜力扩展至更复杂的基于部件模型或显著性驱动的定位任务。