[论文解读] Spatially Supervised Recurrent Convolutional Neural Networks for Visual Object Tracking

Guanghan Ning, Zhi Zhang+4 more|arXiv (Cornell University)|Jul 19, 2016

Video Surveillance and Tracking Methods参考文献 17被引用 37

一句话总结

本文提出 ROLO，一种空间监督的循环卷积神经网络，通过联合建模视觉特征与时间位置历史，实现视觉目标跟踪。通过使用 LSTM 从深度特征端到端回归目标边界框，该方法在基准数据集上实现了最先进（SOTA）的精度与鲁棒性，同时保持较低的计算成本，在大多数序列上显著优于先前方法。

ABSTRACT

In this paper, we develop a new approach of spatially supervised recurrent convolutional neural networks for visual object tracking. Our recurrent convolutional network exploits the history of locations as well as the distinctive visual features learned by the deep neural networks. Inspired by recent bounding box regression methods for object detection, we study the regression capability of Long Short-Term Memory (LSTM) in the temporal domain, and propose to concatenate high-level visual features produced by convolutional networks with region information. In contrast to existing deep learning based trackers that use binary classification for region candidates, we use regression for direct prediction of the tracking locations both at the convolutional layer and at the recurrent unit. Our extensive experimental results and performance comparison with state-of-the-art tracking methods on challenging benchmark video tracking datasets shows that our tracker is more accurate and robust while maintaining low computational cost. For most test video sequences, our method achieves the best tracking performance, often outperforms the second best by a large margin.

研究动机与目标

• 解决现有深度学习跟踪器依赖二分类进行区域评分且缺乏时间建模的局限性。
• 通过整合时空上下文，提升在遮挡、运动模糊和外观变化等严重挑战下的跟踪鲁棒性。
• 开发一种可端到端训练的模型，利用高层视觉特征与历史跟踪位置信息，实现更优的定位性能。
• 探索LSTM在深度特征上的回归能力，实现直接边界框预测，避免子区域分类。
• 通过空间监督与时间记忆机制，实现高效、实时的跟踪，并具备强泛化能力。

提出的方法

• 模型使用 YOLO 从输入帧中提取丰富、高层的视觉特征，并将其输入 LSTM 进行时间建模。
• 在每个时间步，将视觉特征与空间位置信息（边界框坐标或热力图）拼接，以实现空间监督。
• LSTM 通过基于梯度的反向传播，实现对目标边界框的端到端回归，直接预测位置，而非对区域进行分类。
• 该架构通过最小化序列中目标位置的预测误差进行训练，从而建模外观与运动动态。
• 系统将跟踪建模为一系列条件概率：p(B_t | B_<t, X_≤t)，其中 B_t 表示时间 t 时的目标位置。
• 通过将真实位置或热力图与特征拼接，实现空间监督，以引导 LSTM 的回归过程。

实验结果

研究问题

• RQ1 基于LSTM的循环网络能否通过端到端回归有效建模视觉跟踪中的时空依赖性？
• RQ2 通过坐标或热力图拼接实现的空间监督是否能提升基于深度特征跟踪的准确率与鲁棒性？
• RQ3 与基于二分类的跟踪器相比，整合历史位置与深度视觉特征在处理遮挡与运动模糊时表现如何？
• RQ4 在有限动态数据上进行训练，其泛化能力在未见视频序列上能延伸到何种程度？
• RQ5 该模型能否在保持最先进性能的同时，维持低计算成本？

主要发现

• ROLO 在 OTB-30 基准测试的大多数测试序列中表现最佳，通常远超第二名方法。
• 在 OPE（单次评估）设置下，ROLO 在 OTB-30 数据集上达到 0.793 的 AUC，显著优于基线方法。
• 在仅使用 1/3 帧的真实标注进行训练时，模型泛化能力良好，并在完整序列上性能提升，展现出强大的泛化能力。
• 增加训练帧数量即使不增加额外真实标注，也能提升性能，表明时间动态可从有限数据中学习。
• 模型保持了低计算成本，实现了高精度的实时推理，如不同步长下一致的 fps 与 IOU 分数所示。
• 消融实验表明，采用空间监督的直接回归优于使用辅助分类器或基于 Dropout 的正则化方法。