[论文解读] Faster and Simpler Siamese Network for Single Object Tracking

Shaokui Jiang, Baile Xu+2 more|arXiv (Cornell University)|May 7, 2021

Video Surveillance and Tracking Methods参考文献 28被引用 4

一句话总结

该论文提出了一种更快、更简单的孪生网络用于单目标跟踪，在低端硬件上实现了实时性能，同时保持了高精度。通过集成挤压-激励（Squeeze-and-Exciation）模块进行特征优化，采用参数更少的轻量化相关层（减小卷积核尺寸），并使用1×1卷积和全连接层进行回归，该方法在不损失精度的前提下加速了训练与推理过程，在VOT和OTB基准测试中实现了最先进（SOTA）的速度与具有竞争力的精度，仅需5个训练周期和极少的数据量。

ABSTRACT

Single object tracking (SOT) is currently one of the most important tasks in computer vision. With the development of the deep network and the release for a series of large scale datasets for single object tracking, siamese networks have been proposed and perform better than most of the traditional methods. However, recent siamese networks get deeper and slower to obtain better performance. Most of these methods could only meet the needs of real-time object tracking in ideal environments. In order to achieve a better balance between efficiency and accuracy, we propose a simpler siamese network for single object tracking, which runs fast in poor hardware configurations while remaining an excellent accuracy. We use a more efficient regression method to compute the location of the tracked object in a shorter time without losing much precision. For improving the accuracy and speeding up the training progress, we introduce the Squeeze-and-excitation (SE) network into the feature extractor. In this paper, we compare the proposed method with some state-of-the-art trackers and analysis their performances. Using our method, a siamese network could be trained with shorter time and less data. The fast processing speed enables combining object tracking with object detection or other tasks in real time.

研究动机与目标

• 为解决基于孪生网络的单目标跟踪器在有限硬件资源下速度与精度之间的权衡问题。
• 在保持高跟踪精度的同时，降低模型复杂度与训练时间。
• 实现在低端设备（包括移动平台）上的实时部署。
• 通过减少参数量和加快推理速度，在不牺牲性能的前提下简化网络架构。
• 仅用15,000段来自ImageNet-VID和GOT的数据视频片段，在5个训练周期内实现高效训练。

提出的方法

• 在特征提取器中集成挤压-激励（Squeeze-and-Excitation, SE）模块，以增强通道维度的特征表示并加速训练过程。
• 采用更小卷积核尺寸的相关层，以减少参数数量并加快模板区域与搜索区域之间的特征匹配速度。
• 使用1×1卷积层后接全连接层，实现高效的回归，以预测目标边界框坐标。
• 在ImageNet-VID和GOT数据集上进行端到端训练，仅使用15,000段视频片段和5个训练周期。
• 通过在特征提取与回归阶段最小化计算复杂度，优化推理速度。
• 在低端硬件（包括GeForce 840M GPU和i7-4510U CPU）上部署模型，以验证其实现实时性能。

实验结果

研究问题

• RQ1 能否通过简化孪生网络结构实现实时推理而不损失跟踪精度？
• RQ2 在轻量化孪生跟踪器中，集成SE模块在多大程度上提升了训练速度与特征表示能力？
• RQ3 在保持具有竞争力性能的前提下，训练时间与数据需求可被压缩到何种程度？
• RQ4 在VOT和OTB100等标准基准测试中，所提方法在速度与精度方面与最先进跟踪器相比如何？
• RQ5 轻量化孪生跟踪器是否能在无需重初始化的一次性评估中，在低端硬件上实现高性能？

主要发现

• 在低端设备（i7-4510U + GeForce 840M）上，该跟踪器达到53.05 fps，显著优于其他跟踪器的推理速度。
• 在VOT2016上，该跟踪器取得0.19的EAO分数与0.53的鲁棒性，尽管精度较低，但在鲁棒性方面优于多个顶尖跟踪器。
• 在VOT2017上，该跟踪器保持0.13的EAO与0.81的鲁棒性，展现出在更具挑战性的序列中依然具备强大性能。
• 在OTB100的一次性评估中，该跟踪器取得具有竞争力的成功率与精度率，优于众多传统及深度学习方法的跟踪器。
• 模型参数量小于大多数孪生网络（包括SiamFC），因此更适合部署于移动设备与嵌入式系统。
• 仅使用15,000段来自ImageNet-VID和GOT的数据视频片段，在5个训练周期内即完成有效训练，表明具有极高的数据效率。