[论文解读] SANet: Structure-Aware Network for Visual Tracking

Heng Fan, Haibin Ling|arXiv (Cornell University)|Nov 21, 2016

Video Surveillance and Tracking Methods参考文献 50被引用 13

一句话总结

SANet 提出了一种结构感知的跟踪网络，通过整合循环神经网络（RNNs）来建模多卷积特征层级上的目标自身结构，从而增强对相似干扰物的区分能力。通过采用跳跃连接方式融合CNN与RNN特征，该方法在OTB100、TC-128和VOT2015基准上实现了最先进性能，在精度、成功率和鲁棒性指标上均优于现有的基于CNN的跟踪器。

ABSTRACT

Convolutional neural network (CNN) has drawn increasing interest in visual tracking owing to its powerfulness in feature extraction. Most existing CNN-based trackers treat tracking as a classification problem. However, these trackers are sensitive to similar distractors because their CNN models mainly focus on inter-class classification. To address this problem, we use self-structure information of object to distinguish it from distractors. Specifically, we utilize recurrent neural network (RNN) to model object structure, and incorporate it into CNN to improve its robustness to similar distractors. Considering that convolutional layers in different levels characterize the object from different perspectives, we use multiple RNNs to model object structure in different levels respectively. Extensive experiments on three benchmarks, OTB100, TC-128 and VOT2015, show that the proposed algorithm outperforms other methods. Code is released at http://www.dabi.temple.edu/~hbling/code/SANet/SANet.html.

研究动机与目标

• 为解决基于CNN的跟踪器因过度依赖类别间分类而难以应对相似干扰物的问题。
• 通过利用目标对象的内在自身结构信息来提升跟踪鲁棒性。
• 将RNN与CNN结合，以在多个特征层级上建模目标内部的长程空间依赖关系。
• 通过跳跃连接策略融合CNN与RNN特征，以增强特征表示能力。
• 在大规模、具有挑战性的跟踪基准上验证所提架构的有效性。

提出的方法

• 该方法在CNN特征层次的不同层级上使用多个RNN，以捕捉多尺度的空间关系。
• 通过按顺序处理特征图的RNN对自结构进行编码，学习目标内部的长程依赖关系。
• 采用跳跃连接策略在对应层上融合CNN与RNN特征图，以同时融合外观与结构上下文信息。
• 在网络训练中采用多领域学习策略，在VOT2013、VOT2014和VOT2015数据集上进行训练，以提升泛化能力。
• 最终跟踪器使用融合后的特征进行在线分类，从而实现对干扰物的鲁棒区分。
• 采用标准指标（包括精度、成功率图和期望重叠率）在OTB100、TC-128和VOT2015上评估该架构。

实验结果

研究问题

• RQ1 建模目标的内部自结构是否能提升其在相似干扰物下的跟踪鲁棒性？
• RQ2 在目标特征中引入RNN以建模空间依赖关系，对跟踪性能有何影响？
• RQ3 在不同CNN特征层级上进行多层级结构建模，是否能超越单层级建模带来更强的区分能力？
• RQ4 CNN与RNN特征的跳跃连接在多大程度上提升了跟踪精度与鲁棒性？
• RQ5 在多样化挑战性条件下，该方法与最先进跟踪器相比在标准基准上的表现如何？

主要发现

• 在OTB100上，SANet取得0.922的精度得分和0.688的成功率得分，在所有11项属性上均优于其他最先进方法。
• 在TC-128上，SANet在精度和成功率图上均达到最高性能，持续优于C-COT、HCFT、HDT和MDNet等跟踪器。
• 在VOT2015上，SANet取得最高的期望平均重叠率（0.3895），超过MDNet的0.3783。
• 在准确性和鲁棒性方面，SANet分别以1.17和0.61排名第一，优于DSST、DeepSRDCF、LGT、MEEM、MUSTER、SAMF和TGPR。
• 消融实验表明，多领域学习可提升性能，若移除该策略则性能略有下降，验证了其有效性。
• 跳跃连接策略显著增强了特征表示，从而在所有基准上均提升了跟踪性能。