[论文解读] Integrating Boundary and Center Correlation Filters for Visual Tracking with Aspect Ratio Variation

Feng Li, Yingjie Yao+4 more|arXiv (Cornell University)|Oct 5, 2017

Video Surveillance and Tracking Methods参考文献 1被引用 8

一句话总结

本文提出了一种新颖的视觉跟踪框架IBCCF，通过将一维边界相关滤波器与二维中心相关滤波器相结合，以应对跟踪中的长宽比变化问题。通过分别建模左、右、上、下边界，并利用正则化项强制边界滤波器与中心滤波器之间保持近正交性，IBCCF在OTB、VOT和Temple-Color基准上实现了最先进（SOTA）的精度与鲁棒性，优于HCF和sHCF，在处理平面内/平面外旋转及形变方面表现更优。

ABSTRACT

The aspect ratio variation frequently appears in visual tracking and has a severe influence on performance. Although many correlation filter (CF)-based trackers have also been suggested for scale adaptive tracking, few studies have been given to handle the aspect ratio variation for CF trackers. In this paper, we make the first attempt to address this issue by introducing a family of 1D boundary CFs to localize the left, right, top, and bottom boundaries in videos. This allows us cope with the aspect ratio variation flexibly during tracking. Specifically, we present a novel tracking model to integrate 1D Boundary and 2D Center CFs (IBCCF) where boundary and center filters are enforced by a near-orthogonality regularization term. To optimize our IBCCF model, we develop an alternating direction method of multipliers. Experiments on several datasets show that IBCCF can effectively handle aspect ratio variation, and achieves state-of-the-art performance in terms of accuracy and robustness.

研究动机与目标

• 解决相关滤波（CF）跟踪器中长宽比变化问题，尽管在尺度自适应方面已有进展，但该问题仍被严重忽视。
• 克服标准CF跟踪器仅依赖中心定位的局限性，后者无法适应非均匀的尺度与长宽比变化。
• 开发一种统一的跟踪框架，通过一组一维边界相关滤波器同时跟踪目标中心及其四个边界。
• 通过近正交性正则化项强制边界滤波器与中心滤波器之间的结构一致性，以提升跟踪精度与稳定性。
• 利用交替方向乘子法（ADMM）高效优化所提模型，每个子问题均具有闭式解。

提出的方法

• 引入一组一维相关滤波器，独立定位目标对象的左、右、上、下边界，将每个边界视为多通道表示中的一个一维向量。
• 构建联合优化模型IBCCF，将二维中心CF与一维边界CF结合，并引入正则化项以强制滤波器之间保持近正交性，防止冗余并提升判别能力。
• 使用交替方向乘子法（ADMM）求解IBCCF优化问题，其中每个子问题（更新中心CF与边界CF）均具有闭式解。
• 利用深度卷积神经网络（CNN）特征以提升表征能力，同时评估手工设计特征（HOG与颜色名称）下的性能，以验证泛化能力。
• 通过快速傅里叶变换（FFT）与循环矩阵结构保持计算效率，保留CF跟踪器的速度优势。
• 在推理阶段通过融合所有滤波器的响应结果，整合边界与中心预测，以估计最终边界框，实现对长宽比变化的灵活适应。

实验结果

研究问题

• RQ1 通过一维相关滤波器独立建模目标边界，是否能提升视觉跟踪中对长宽比变化的鲁棒性？
• RQ2 在中心与边界相关滤波器之间强制实现近正交性，是否能提升跟踪性能并减少冗余？
• RQ3 所提出的IBCCF框架在处理由平面内/平面外旋转与形变引起的长宽比变化方面，相较于最先进CF跟踪器表现如何？
• RQ4 当使用HOG与颜色名称等手工设计特征时，IBCCF模型是否仍能保持高精度与鲁棒性？
• RQ5 基于ADMM的优化策略是否能实现高效收敛，并在多样化跟踪序列中提供稳定性能？

主要发现

• 在OTB-2015数据集上，IBCCF取得0.266的最高EAO得分，优于HCF（0.236）与sHCF（0.220），证明其在处理长宽比变化方面具有卓越性能。
• 在VOT-2016基准上，IBCCF取得0.266的EAO、0.54的精度与1.22的鲁棒性，位列顶尖跟踪器之列，重叠精度较HCF提升4.4%。
• 在Temple-Color数据集上，IBCCF在40个序列子集（含长宽比变化）中成功率排名第二，且IBCCF-HOGCN变体即使使用手工特征也优于DSST与SAMF。
• 消融研究证实，近正交性正则化可提升跟踪精度，IBCCF-HOGCN（无约束）的性能低于完整IBCCF-HOGCN模型。
• 在VOT-2017数据集上，IBCCF取得1.57的鲁棒性得分，表明其对跟踪漂移与失败具有强鲁棒性，并在挑战性序列中保持高精度（0.48）。
• 在CarScale、Trans与Panda序列上的定性结果表明，IBCCF能有效适应长宽比变化，而HCF与sHCF因仅依赖中心定位而失效。