[论文解读] Learning to Update for Object Tracking.

Li Bi, Wenxuan Xie+2 more|arXiv (Cornell University)|Jun 19, 2018

Video Surveillance and Tracking Methods参考文献 26被引用 3

一句话总结

本文提出了一种‘学习更新’方法，通过在大规模离线视频数据上训练循环神经网络（RNN），使RNN学习在线学习算法本身，从而实现实时目标追踪中的自适应模型更新。所学习的更新器提升了基于模板和相关滤波的追踪器性能，在实时GPU追踪器中达到最先进水平，同时推理速度超过实时且内存占用低。

ABSTRACT

Model update lies at the heart of object tracking.Generally, model update is formulated as an online learning problem where a target model is learned over the online training dataset. Our key innovation is to \emph{learn the online learning algorithm itself using large number of offline videos}, i.e., \emph{learning to update}. The learned updater takes as input the online training dataset and outputs an updated target model. As a first attempt, we design the learned updater based on recurrent neural networks (RNNs) and demonstrate its application in a template-based tracker and a correlation filter-based tracker. Our learned updater consistently improves the base trackers and runs faster than realtime on GPU while requiring small memory footprint during testing. Experiments on standard benchmarks demonstrate that our learned updater outperforms commonly used update baselines including the efficient exponential moving average (EMA)-based update and the well-designed stochastic gradient descent (SGD)-based update. Equipped with our learned updater, the template-based tracker achieves state-of-the-art performance among realtime trackers on GPU.

研究动机与目标

• 为解决目标追踪中手工设计的在线更新规则的局限性，学习更新过程本身。
• 通过从多样化离线视频序列中学习，而非依赖固定更新启发式规则，提升追踪器的鲁棒性和准确性。
• 开发一种轻量化、快速且内存高效的更新机制，适用于GPU上的实时推理。
• 展示所学习的更新器在不同追踪器架构（包括基于模板和相关滤波的追踪器）上的泛化能力。

提出的方法

• 在大规模离线视频数据集上监督训练一个循环神经网络（RNN），以学习在线学习算法。
• 使用基于RNN的更新器处理在线训练序列，并生成更新后的目标模型，替代传统更新规则。
• 将所学习的更新器作为即插即用模块，集成到基于模板和相关滤波的追踪器中。
• 通过大量视频序列端到端训练更新器，优化追踪准确性和更新稳定性。
• 设计RNN接收在线样本的特征表示，并输出优化的模型更新向量。
• 通过最小化参数量和计算复杂度，确保更新器在推理阶段高效，实现在GPU上的实时性能。

实验结果

研究问题

• RQ1 神经网络能否比手工设计的规则更有效地学习目标追踪中的在线更新过程？
• RQ2 所学习的更新器是否能在基于模板和相关滤波的追踪器等不同追踪架构上实现泛化？
• RQ3 所学习的更新器能否在低内存占用下实现实时性能，同时提升追踪准确性？
• RQ4 在追踪性能和鲁棒性方面，所学习的更新器与EMA和SGD等标准基线方法相比如何？

主要发现

• 所学习的更新器在标准基准测试中持续提升了基于模板和相关滤波追踪器的性能。
• 当集成到基于模板的追踪器中时，该方法在GPU上的实时追踪器中实现了最先进准确率。
• 所学习的更新器在GPU上运行速度超过实时，且推理阶段内存占用极小。
• 基于RNN的更新器在追踪准确性上优于基于指数移动平均（EMA）和随机梯度下降（SGD）的更新基线方法。
• 所学习的更新器在不同追踪架构间表现出良好的泛化能力，展现出良好的可迁移性和鲁棒性。