[论文解读] FCLT - A Fully-Correlational Long-Term Tracker

Alan Lukežič, Luka Čehovin Zajc+3 more|arXiv (Cornell University)|Nov 27, 2017

Video Surveillance and Tracking Methods参考文献 36被引用 14

一句话总结

FuCoLoT 是一种全相关性长期跟踪器，通过在不同时间尺度上训练的多个相关滤波器，实现高效的目标重新检测和失败估计，其相关响应表现优异。在 UAV20L 数据集上，该方法实现了最先进性能，相比之前的方法提升超过 19%，且仅使用单个 CPU 线程即可实现 15fps 的运行速度，内存占用量降低一个数量级。

ABSTRACT

We propose FuCoLoT -- a Fully Correlational Long-term Tracker. It exploits the novel DCF constrained filter learning method to design a detector that is able to re-detect the target in the whole image efficiently. FuCoLoT maintains several correlation filters trained on different time scales that act as the detector components. A novel mechanism based on the correlation response is used for tracking failure estimation. FuCoLoT achieves state-of-the-art results on standard short-term benchmarks and it outperforms the current best-performing tracker on the long-term UAV20L benchmark by over 19%. It has an order of magnitude smaller memory footprint than its best-performing competitors and runs at 15fps in a single CPU thread.

研究动机与目标

• 解决在严重遮挡和显著外观变化条件下长期视觉跟踪的挑战。
• 在保持高精度的同时，降低长期跟踪器的内存消耗。
• 提升长期跟踪场景中失败检测和目标重新检测的效率。
• 实现在单 CPU 系统上实时运行，且不牺牲跟踪鲁棒性。

提出的方法

• FuCoLoT 采用在不同时间尺度上训练的多个相关滤波器，以增强在长序列中的检测鲁棒性。
• 提出一种新型的 DCF 约束滤波器学习方法，以优化相关滤波器，实现高效且精确的目标定位。
• 采用基于相关响应的机制，用于估计跟踪失败并触发目标重新检测。
• 通过使用轻量级相关滤波器而非深度神经网络，保持紧凑的内存占用。
• 系统仅使用单个 CPU 线程即可实现实时运行，速度达 15fps，支持在低资源设备上部署。
• 通过利用多时间尺度的相关响应，实现对全图像范围内目标的高效重新检测。

实验结果

研究问题

• RQ1 全相关性跟踪器是否能在不依赖深度学习的情况下，实现在长期跟踪基准上的最先进性能？
• RQ2 如何有效结合多时间尺度的相关滤波器，以提升长期跟踪的鲁棒性？
• RQ3 轻量级相关滤波跟踪器是否能实现在单个 CPU 线程上实时推理，且内存使用量极低？
• RQ4 基于相关响应的失败检测机制是否能可靠地识别跟踪失败并触发重新检测？

主要发现

• FuCoLoT 在长期 UAV20L 基准测试中，相比之前表现最佳的跟踪器，准确率高出 19.1%。
• 该跟踪器仅使用单个 CPU 线程即可实现 15fps 的运行速度，支持在低端硬件上实现实时部署。
• 与表现最佳的竞争对手相比，FuCoLoT 的内存占用量降低了一个数量级。
• 多时间尺度相关滤波器的使用显著提升了在长时间遮挡后的目标重新检测能力。
• 基于相关响应的失败估计机制显著增强了在复杂跟踪场景下的鲁棒性。
• FuCoLoT 在标准短期跟踪基准上也实现了最先进性能，证实了其良好的泛化能力。