[论文解读] First Step toward Model-Free, Anonymous Object Tracking with Recurrent Neural Networks

Quan Gan, Qipeng Guo+2 more|arXiv (Cornell University)|Nov 19, 2015

Video Surveillance and Tracking Methods参考文献 20被引用 51

一句话总结

该论文提出了一种无需模型、端到端可训练的视觉目标跟踪系统，采用卷积神经网络和循环神经网络结合多层注意力机制，旨在无需依赖目标类别标签的情况下，在噪声大、杂乱的环境中跟踪匿名目标。该方法在合成数据序列上的表现优于核相关跟踪器，尤其在存在干扰的长序列中展现出更强的鲁棒性和更低方差的紧密跟踪性能。

ABSTRACT

In this paper, we propose and study a novel visual object tracking approach based on convolutional networks and recurrent networks. The proposed approach is distinct from the existing approaches to visual object tracking, such as filtering-based ones and tracking-by-detection ones, in the sense that the tracking system is explicitly trained off-line to track anonymous objects in a noisy environment. The proposed visual tracking model is end-to-end trainable, minimizing any adversarial effect from mismatches in object representation and between the true underlying dynamics and learning dynamics. We empirically show that the proposed tracking approach works well in various scenarios by generating artificial video sequences with varying conditions; the number of objects, amount of noise and the match between the training shapes and test shapes.

研究动机与目标

• 开发一种无需事先了解目标类别知识的视觉目标跟踪系统，以实现在自动驾驶等真实场景中对匿名目标的跟踪。
• 通过训练统一的、端到端可微分系统，消除对手动设计组件（如目标检测器或运动模型）的依赖。
• 通过联合优化表征学习与跟踪动态，提升在遮挡、杂乱背景和多重干扰等复杂条件下的泛化能力与鲁棒性。
• 探索直接从原始视频中通过循环网络建模时间动态的可行性，避免显式的状态空间建模。

提出的方法

• 该模型结合卷积神经网络（CNN）进行视觉特征提取，以及循环神经网络（RNN）以建模视频帧间的时间依赖性。
• 在多个特征层应用注意力机制，以在特征提取前动态强调输入中的相关区域。
• RNN通过整合历史预测结果和对应视觉特征，生成边界框输出，从而实现对目标运动与外观的记忆。
• 整个系统在具有受控变化的合成视频序列上进行端到端训练，包括目标数量、噪声水平以及训练与测试集之间形状不匹配等变量。
• 采用带有高斯注意力的掩码机制以引导特征关注，但可能偏向于亮度较高的目标。
• 该模型在人工生成的数据集上进行评估，以模拟多种跟踪挑战，包括遮挡和背景杂乱。

实验结果

研究问题

• RQ1 是否可以训练一个基于深度学习的跟踪器，实现端到端训练，以在不依赖目标类别标签或预定义目标表示的情况下跟踪匿名目标？
• RQ2 与传统滤波方法或检测-跟踪方法相比，带有多层次注意力机制的循环网络在存在噪声、遮挡和干扰物的情况下，如何提升跟踪的鲁棒性？
• RQ3 当测试时目标形状与训练分布不一致时，该模型的泛化能力在多大程度上仍有效？
• RQ4 通过RNN显式建模时间动态，是否能带来比判别相关滤波器更优的长序列跟踪性能？

主要发现

• 所提出的RecTracker-Att-1模型在单目标序列上优于KerCorrTracker，在MNIST-Single-Diff序列上实现了0.64±0.06的平均IOU。
• 在包含多个目标的长序列中，RecTracker-Att-1在存在目标干扰时仍保持更优性能，归因于更强的记忆保持能力。
• RecTracker-Att-1的IOU标准差比KerCorrTracker小一个数量级，表明其跟踪结果显著更一致、更稳定。
• ConvTracker基线模型无法有效跟踪匿名目标，凸显了此类任务中循环记忆机制的必要性。
• 尽管IOU得分较低，RecTracker-ID的定性跟踪结果仍可接受，表明IOU可能无法完全反映复杂场景下的跟踪质量。
• 当较亮的干扰物经过附近时，模型偶尔会将目标混淆，表明当前注意力机制在对比度敏感性方面仍存在局限。