[论文解读] Fast Tracking via Spatio-Temporal Context Learning

Kaihua Zhang, Lei Zhang+2 more|arXiv (Cornell University)|Nov 8, 2013

Video Surveillance and Tracking Methods参考文献 20被引用 108

一句话总结

本文提出了一种快速且鲁棒的视觉跟踪算法，通过贝叶斯框架学习时空上下文，以建模目标与其周围背景之间的空间相关性。通过使用快速傅里叶变换（FFT）高效计算置信度图，该方法在未优化的MATLAB环境下实现了350 FPS的帧率，在存在遮挡和外观变化的复杂序列上，其准确率、鲁棒性和速度均优于当前最先进跟踪算法。

ABSTRACT

In this paper, we present a simple yet fast and robust algorithm which exploits the spatio-temporal context for visual tracking. Our approach formulates the spatio-temporal relationships between the object of interest and its local context based on a Bayesian framework, which models the statistical correlation between the low-level features (i.e., image intensity and position) from the target and its surrounding regions. The tracking problem is posed by computing a confidence map, and obtaining the best target location by maximizing an object location likelihood function. The Fast Fourier Transform is adopted for fast learning and detection in this work. Implemented in MATLAB without code optimization, the proposed tracker runs at 350 frames per second on an i7 machine. Extensive experimental results show that the proposed algorithm performs favorably against state-of-the-art methods in terms of efficiency, accuracy and robustness.

研究动机与目标

• 开发一种快速且鲁棒的视觉跟踪算法，有效应对因遮挡、光照变化和姿态变化引起的外观变化。
• 利用时空上下文——目标与其局部背景之间的空间关系——以提高跟踪的准确率和鲁棒性。
• 通过利用快速傅里叶变换（FFT）实现在线学习与检测，以实现高计算效率，适用于实时跟踪。
• 将跟踪建模为置信度图最大化问题，利用目标与上下文特征之间的统计相关性。
• 通过迭代尺度估计和自适应加权，在尺度变化下保持性能。

提出的方法

• 该方法采用贝叶斯框架建模空间上下文，捕捉目标特征（强度和位置）与周围背景区域之间的统计相关性。
• 通过求解一个反卷积问题，从当前帧中学习空间上下文模型，编码目标与其局部上下文之间的相对空间配置。
• 通过引入连续帧之间的时序接近性，将学习到的空间模型扩展为时空上下文模型。
• 通过卷积计算置信度图，在下一帧中执行目标检测，该置信度图集成了时空上下文信息。
• 使用快速傅里叶变换（FFT）加速模型学习与检测，实现实时性能。
• 通过从置信度图值中估计尺度比，并结合历史尺度估计进行迭代、稳定更新，实现尺度自适应。

实验结果

研究问题

• RQ1 时空上下文学习是否能提升在严重遮挡和外观变化下的跟踪鲁棒性？
• RQ2 如何有效建模目标与其局部背景之间的空间关系，以增强与背景的区分能力？
• RQ3 基于FFT的计算能否实现实时跟踪而无需代码优化，达到高帧率？
• RQ4 在实时跟踪框架中，如何准确且稳定地估计尺度变化？
• RQ5 一种结合上下文的生成方法是否能在速度和准确率上均优于判别式方法和纯生成方法？

主要发现

• 所提出的跟踪器在i7机器上使用未优化的MATLAB代码实现了350帧每秒的帧率，证明了其高计算效率。
• 在存在严重遮挡和外观变化的复杂序列上，该跟踪器在准确率和鲁棒性方面显著优于当前最先进方法。
• 时空上下文的整合使跟踪器在目标外观严重改变时仍能保持性能。
• 使用FFT进行置信度图计算，实现了快速在线学习与检测，使该方法适用于实时应用。
• 结合平均化与指数平滑的迭代尺度估计方法，确保了随时间推移的稳定且准确的尺度自适应。
• 由于其上下文感知设计，该方法在多种跟踪场景下（包括光照变化和姿态变化）均保持高性能。