[论文解读] Correlation Tracking via Joint Discrimination and Reliability Learning

Chong Sun, Dong Wang+2 more|arXiv (Cornell University)|Apr 24, 2018

Video Surveillance and Tracking Methods参考文献 23被引用 9

一句话总结

本文提出了一种基于相关滤波的新型跟踪器（DRT），通过将滤波器建模为基滤波器（用于区分性）与可靠性权重图（用于鲁棒性）的逐元素乘积，联合优化区分性与可靠性。通过引入局部响应一致性约束并在线学习可靠性，该方法降低了对非均匀特征响应的敏感性，并在OTB-2013、OTB-2015和VOT-2016上优于当前最先进跟踪器，在VOT-2016上实现了0.442的EAO得分，较ECO提升了18.2%。

ABSTRACT

For visual tracking, an ideal filter learned by the correlation filter (CF) method should take both discrimination and reliability information. However, existing attempts usually focus on the former one while pay less attention to reliability learning. This may make the learned filter be dominated by the unexpected salient regions on the feature map, thereby resulting in model degradation. To address this issue, we propose a novel CF-based optimization problem to jointly model the discrimination and reliability information. First, we treat the filter as the element-wise product of a base filter and a reliability term. The base filter is aimed to learn the discrimination information between the target and backgrounds, and the reliability term encourages the final filter to focus on more reliable regions. Second, we introduce a local response consistency regular term to emphasize equal contributions of different regions and avoid the tracker being dominated by unreliable regions. The proposed optimization problem can be solved using the alternating direction method and speeded up in the Fourier domain. We conduct extensive experiments on the OTB-2013, OTB-2015 and VOT-2016 datasets to evaluate the proposed tracker. Experimental results show that our tracker performs favorably against other state-of-the-art trackers.

研究动机与目标

• 为解决现有相关滤波跟踪器仅关注区分性而忽略可靠性的问题，避免在高响应但不可靠的特征区域发生过拟合。
• 在相关滤波框架中分离区分性与可靠性学习，以提升对背景干扰和非均匀特征分布的鲁棒性。
• 开发一种联合优化框架，将滤波器建模为基滤波器与可靠性权重图的乘积，确保所有目标子区域的贡献均衡。
• 通过可靠性感知滤波提升在遮挡、形变和背景杂波等挑战性条件下的跟踪鲁棒性。

提出的方法

• 将滤波器表述为基滤波器与可靠性权重图的逐元素乘积，实现区分性与可靠性学习的分离。
• 引入局部响应一致性约束，确保基滤波器的不同子区域贡献相等，防止高响应区域占据主导。
• 通过交替方向法在线联合学习可靠性权重图与基滤波器，求解联合优化问题。
• 利用傅里叶域加速优化过程，保持相关滤波跟踪方法的高效性。
• 采用新型目标函数端到端训练，同时包含区分性与可靠性项。
• 在标准基准上评估框架，并通过消融实验验证各组件的贡献。

实验结果

研究问题

• RQ1 在相关滤波中联合学习区分性与可靠性是否能提升在挑战性视觉条件下的跟踪鲁棒性？
• RQ2 引入局部响应一致性约束是否能降低特征图中高响应但不可靠区域的影响？
• RQ3 在线学习的可靠性权重图是否能比传统方法更准确地反映不同目标子区域的真实跟踪置信度？
• RQ4 所提方法在准确性、鲁棒性与跨多样化基准的泛化能力方面，与当前最先进跟踪器相比表现如何？

主要发现

• 所提出的DRT跟踪器在VOT-2016基准上实现了0.442的EAO得分，相较之前最佳方法ECO（0.374）实现了18.2%的相对提升。
• 在OTB-2015数据集上，通过联合学习基滤波器与可靠性图，距离精度提升3.5%，AUC得分提升2.3%。
• 消融实验表明，可靠性学习贡献显著，在OTB-2015上AUC提升1.5%，在VOT-2016上EAO提升2.3%，相较仅使用局部响应一致性的基线方法。
• 跟踪器表现出卓越的鲁棒性，在VOT-2016数据集上失败率最低，显著低于所有对比方法。
• 由于可靠性权重图能够抑制不可靠区域的响应，即使在特征图非均匀激活的情况下，也能有效抑制背景影响。
• 失败案例主要源于快速形变或复杂背景，表明未来可结合光流方法以改善运动建模。