[论文解读] Modeling and Propagating CNNs in a Tree Structure for Visual Tracking

Hyeonseob Nam, Mooyeol Baek+1 more|arXiv (Cornell University)|Aug 25, 2016

Video Surveillance and Tracking Methods参考文献 33被引用 295

一句话总结

本文提出 TCNN，一种在线视觉跟踪方法，在树结构中维护多个基于CNN的目标外观模型。模型沿树路径更新并进行融合，以在外观变化和遮挡下稳健估计目标状态。

ABSTRACT

We present an online visual tracking algorithm by managing multiple target appearance models in a tree structure. The proposed algorithm employs Convolutional Neural Networks (CNNs) to represent target appearances, where multiple CNNs collaborate to estimate target states and determine the desirable paths for online model updates in the tree. By maintaining multiple CNNs in diverse branches of tree structure, it is convenient to deal with multi-modality in target appearances and preserve model reliability through smooth updates along tree paths. Since multiple CNNs share all parameters in convolutional layers, it takes advantage of multiple models with little extra cost by saving memory space and avoiding redundant network evaluations. The final target state is estimated by sampling target candidates around the state in the previous frame and identifying the best sample in terms of a weighted average score from a set of active CNNs. Our algorithm illustrates outstanding performance compared to the state-of-the-art techniques in challenging datasets such as online tracking benchmark and visual object tracking challenge.

研究动机与目标

• 解决在线视觉跟踪中的外观变化、遮挡以及跟踪失败。
• 利用多个基于 CNN 的外观模型以在不增加过多计算开销的情况下处理多模态性。
• 通过沿树路径更新模型并共享卷积参数来确保在线更新的可靠性。

提出的方法

• 使用从预训练网络初始化并在线微调的 CNN 来表示目标外观。
• 将 CNNs 维护在一个树中，边表示模型之间的相似性；在最佳路径上进行更新。
• 通过对活跃 CNN 的分数进行加权聚合来估计目标状态；权重取决于相似性和模型的可靠性。
• 引入边界框回归步骤以提升定位精度。
• 在多模型并存的情况下共享卷积层以降低内存和计算成本。
• 每帧使用 256 个采样候选并用带标签的正负样本通过 SGD 训练 CNN。

实验结果

研究问题

• RQ1 在在线跟踪中，树结构化的 CNN 集成是否可以提高对多模态目标外观的鲁棒性？
• RQ2 应如何在 CNN 网络中分配在线更新以最大化可靠性并最小化漂移？
• RQ3 在维护多台 CNN 时，共享卷积层对内存和速度有什么影响？
• RQ4 边界框回归是否能提高基于 CNN 的跟踪器的定位精度？

主要发现

• 在 OTB50 和 OTB100 基准测试中，TCNN 在精度和 AUC 上超过了当前最先进的跟踪器。
• 消融研究显示多模型（Linear_mean 与 Single）以及树结构更新（Tree_mean 与 Linear_mean）的优势。
• 边界框回归提升了基于 CNN 的跟踪的定位质量。
• 基于树的维护可以维持多条可靠路径，帮助应对遮挡和外观变化。
• 在 VOT2015 上，TCNN 在基于 CNN 的和强大的非 CNN 跟踪器中达到最佳或具竞争力的精度和鲁棒性。