[论文解读] DensSiam: End-to-End Densely-Siamese Network with Self-Attention Model for Object Tracking

Mohamed H. Abdelpakey, Mohamed Shehata+1 more|arXiv (Cornell University)|Sep 7, 2018

Video Surveillance and Tracking Methods参考文献 29被引用 6

一句话总结

DensSiam 提出了一种端到端的密集连接孪生网络，结合自注意力机制，利用非局部特征学习增强对外观变化的鲁棒性。该方法在 OTB2013/2015 和 VOT2015–2017 基准测试中达到最先进性能，推理速度达 60 FPS，其在准确性、鲁棒性和期望平均重叠方面优于现有实时跟踪器。

ABSTRACT

Convolutional Siamese neural networks have been recently used to track objects using deep features. Siamese architecture can achieve real time speed, however it is still difficult to find a Siamese architecture that maintains the generalization capability, high accuracy and speed while decreasing the number of shared parameters especially when it is very deep. Furthermore, a conventional Siamese architecture usually processes one local neighborhood at a time, which makes the appearance model local and non-robust to appearance changes. To overcome these two problems, this paper proposes DensSiam, a novel convolutional Siamese architecture, which uses the concept of dense layers and connects each dense layer to all layers in a feed-forward fashion with a similarity-learning function. DensSiam also includes a Self-Attention mechanism to force the network to pay more attention to the non-local features during offline training. Extensive experiments are performed on four tracking benchmarks: OTB2013 and OTB2015 for validation set; and VOT2015, VOT2016 and VOT2017 for testing set. The obtained results show that DensSiam achieves superior results on these benchmarks compared to other current state-of-the-art methods.

研究动机与目标

• 为解决传统孪生网络在处理局部、非鲁棒外观模型以及深层架构中参数量过高的局限性。
• 通过密集连接架构捕捉非局部上下文特征，提升视觉目标跟踪中的泛化能力与鲁棒性。
• 在保持高性能和实时推理速度的同时，减少深层孪生网络中的共享参数数量。
• 集成自注意力机制，在离线训练过程中通过聚焦语义相关的非局部特征，增强特征表示能力。

提出的方法

• DensSiam 采用密集连接孪生架构，其中每一层以前向方式与所有先前层相连，实现特征复用并缓解梯度消失问题。
• 网络使用包含 1×1 卷积和平均池化的过渡层的密集块，以控制特征图尺寸并减少参数量。
• 在目标分支的最终特征图上应用自注意力模块，以计算注意力权重，使网络能够聚焦于语义上重要的非局部特征。
• 搜索分支与目标分支共享所有权重，从而实现候选区域与目标模板之间高效相似性计算。
• 采用相似性学习函数进行端到端训练，并使用从 10⁻³ 到 10⁻⁸ 的几何退火学习率调度策略。
• 输入分辨率设置为：目标图像块为 127×127，搜索图像为 255×255，通过在缩放因子 O=1.0375 和 s={-2,0,2} 下的多尺度搜索处理尺度变化。

实验结果

研究问题

• RQ1 与标准孪生网络相比，密集连接孪生架构是否能提升视觉目标跟踪中的特征表示能力和鲁棒性？
• RQ2 集成自注意力机制在多大程度上增强了网络应对外观变化和背景杂波的能力？
• RQ3 密集连接架构在保持或提升跟踪精度与速度的同时，能在多大程度上减少共享参数数量？
• RQ4 与现有最先进跟踪器相比，所提出的 DensSiam 架构在包括遮挡和运动模糊在内的多样化跟踪场景中是否具有更好的泛化能力？

主要发现

• 在 VOT2015 基准测试中，DensSiam 达到准确性（A）0.619，鲁棒性（R）1.24，期望平均重叠（EAO）0.34，优于非实时跟踪器如 MDNet 和 DeepSRDCF。
• 在 VOT2016 中，DensSiam 达到 A 0.56，R 1.08，EAO 0.3310，在所有指标上均优于 ECOhc、Staple、SiamRN 和 GCF。
• 在 VOT2017 中，DensSiam 记录 A 0.540，R 0.350，EAO 0.250，在准确性和鲁棒性方面优于 SiamFC、SiamDCF、CSRDCF++ 和 Staple。
• 该跟踪器在单张 Titan XP GPU 上运行速度达 60 FPS，证明其具备实时性能，同时保持高准确性和鲁棒性。
• 自注意力机制通过聚焦于非局部、语义相关的特征，显著提升了特征表示能力，增强了在外观变化下的性能表现。
• 密集连接结构相比标准孪生网络显著减少了共享参数数量，提升了参数效率与泛化能力，且未牺牲推理速度。