[论文解读] Multi-hierarchical Independent Correlation Filters for Visual Tracking

Shuai Bai, Zhiqun He+4 more|arXiv (Cornell University)|Nov 26, 2018

Video Surveillance and Tracking Methods参考文献 28被引用 21

一句话总结

本文提出了一种新型视觉跟踪框架——多层级独立相关滤波器（MHIT），该框架通过独立处理多层级深度特征的分离相关滤波分支，结合运动估计以应对遮挡，并采用自适应融合策略以提升鲁棒性。该方法在性能上达到当前最先进水平，在VOT2017上相较顶尖跟踪器实现了20.1%的相对性能提升，并在VOT2018上取得了新的最先进结果。

ABSTRACT

For visual tracking, most of the traditional correlation filters (CF) based methods suffer from the bottleneck of feature redundancy and lack of motion information. In this paper, we design a novel tracking framework, called multi-hierarchical independent correlation filters (MHIT). The framework consists of motion estimation module, hierarchical features selection, independent CF online learning, and adaptive multi-branch CF fusion. Specifically, the motion estimation module is introduced to capture motion information, which effectively alleviates the object partial occlusion in the temporal video. The multi-hierarchical deep features of CNN representing different semantic information can be fully excavated to track multi-scale objects. To better overcome the deep feature redundancy, each hierarchical features are independently fed into a single branch to implement the online learning of parameters. Finally, an adaptive weight scheme is integrated into the framework to fuse these independent multi-branch CFs for the better and more robust visual object tracking. Extensive experiments on OTB and VOT datasets show that the proposed MHIT tracker can significantly improve the tracking performance. Especially, it obtains a 20.1% relative performance gain compared to the top trackers on the VOT2017 challenge, and also achieves new state-of-the-art performance on the VOT2018 challenge.

研究动机与目标

• 解决传统基于相关滤波器的跟踪器中存在的特征冗余与缺乏运动建模的问题。
• 提升在遮挡、尺度变化和外观变化等情况下的鲁棒性。
• 在不引入特征融合冗余的前提下，有效利用卷积神经网络（CNN）中的层次化深度特征。
• 设计一种多分支自适应融合机制，以提升跟踪精度与稳定性。
• 在标准视觉跟踪基准上实现新的最先进性能。

提出的方法

• 引入一个运动估计模块，利用时间连续性预测目标运动，从而增强对部分遮挡的鲁棒性。
• 从预训练的卷积神经网络（如ResNet、DenseNet）中提取多层级深度特征，以表征不同语义层次。
• 通过独立的相关滤波分支分别处理每一层级特征，避免特征冗余与维度问题。
• 在每个独立分支中应用在线学习，基于时间序列数据自适应更新滤波器参数。
• 采用一种自适应多分支融合策略，根据置信度与可靠性动态加权不同分支的输出。
• 利用运动估计定义的搜索区域，降低计算成本并提升定位精度。

实验结果

研究问题

• RQ1 在相关滤波器中对层级化深度特征进行独立处理，是否能减少冗余并提升跟踪鲁棒性？
• RQ2 集成运动估计在部分遮挡与形变情况下是否能显著提升性能？
• RQ3 对多个独立相关滤波分支进行自适应融合，是否优于固定权重或拼接融合策略？
• RQ4 当与独立滤波结合时，更深的主干网络（如ResNet、SE-ResNet）能在多大程度上提升跟踪性能？
• RQ5 所提出的MHIT框架是否在OTB和VOT等标准视觉跟踪基准上实现了最先进性能？

主要发现

• 在VOT2017挑战赛中，MHIT相较顶尖跟踪器实现了20.1%的相对性能提升，表明其具有显著改进效果。
• 该方法在VOT2018基准上取得了新的最先进性能，证实了其鲁棒性与泛化能力。
• 使用SE-ResNet50并结合选定特征（如Res3d与Conv1x）可获得0.388的EAO，优于仅使用VGG-M或ResNet50的模型。
• 运动估计模块在短期部分遮挡情况下提升了跟踪性能，如图10所示的可视化结果所示。
• 自适应多分支融合机制相较基线模型使EAO提升了8.5%，验证了其有效性。
• 各分支独立学习可减少特征冗余；当相邻层特征被融合时，性能因干扰而下降。