[论文解读] 3D Siamese Transformer Network for Single Object Tracking on Point Clouds

Le Hui, Lingpeng Wang+4 more|arXiv (Cornell University)|Jul 25, 2022

Video Surveillance and Tracking Methods被引用 4

一句话总结

该论文提出STNet，一种用于点云上单目标跟踪的3D孪生Transformer网络，通过编码器-解码器架构中的自注意力机制学习形状上下文，并利用交叉注意力实现鲁棒的模板-搜索区域相关性。通过引入自注意力机制和交叉注意力机制，结合自底向上的特征融合策略，STNet在KITTI、nuScenes和Waymo基准上实现了最先进性能，其性能通过端到端的注意力机制框架实现迭代式优化。

ABSTRACT

Siamese network based trackers formulate 3D single object tracking as cross-correlation learning between point features of a template and a search area. Due to the large appearance variation between the template and search area during tracking, how to learn the robust cross correlation between them for identifying the potential target in the search area is still a challenging problem. In this paper, we explicitly use Transformer to form a 3D Siamese Transformer network for learning robust cross correlation between the template and the search area of point clouds. Specifically, we develop a Siamese point Transformer network to learn shape context information of the target. Its encoder uses self-attention to capture non-local information of point clouds to characterize the shape information of the object, and the decoder utilizes cross-attention to upsample discriminative point features. After that, we develop an iterative coarse-to-fine correlation network to learn the robust cross correlation between the template and the search area. It formulates the cross-feature augmentation to associate the template with the potential target in the search area via cross attention. To further enhance the potential target, it employs the ego-feature augmentation that applies self-attention to the local k-NN graph of the feature space to aggregate target features. Experiments on the KITTI, nuScenes, and Waymo datasets show that our method achieves state-of-the-art performance on the 3D single object tracking task.

研究动机与目标

• 为解决在稀疏、不规则点云上3D单目标跟踪中模板与搜索区域之间显著外观变化的挑战。
• 通过孪生Transformer编码器-解码器结构捕获长距离形状上下文，提升特征表示能力。
• 通过迭代式自底向上的特征融合，提升模板与搜索区域之间的交叉相关性学习。
• 通过在特征空间中对局部k-NN图应用自注意力机制（自特征增强），提升判别性特征学习能力。
• 通过端到端的注意力机制框架，在标准3D跟踪基准上实现最先进跟踪性能。

提出的方法

• 采用编码器-解码器架构的孪生点Transformer网络，利用编码器中的自注意力机制从点云中捕获非局部形状上下文。
• 解码器通过可学习注意力权重的自适应特征插值，将下采样点的特征上采样至原始分辨率。
• 迭代式自底向上相关性网络通过交叉注意力融合模板与搜索区域特征，实现粗略定位。
• 自特征增强通过在特征空间中对局部k-NN图应用自注意力机制，聚合语义相似特征，增强目标表征能力。
• 框架通过端到端训练联合优化特征学习与相关性学习，注意力图引导目标定位。
• 超参数如k-NN大小（K）和迭代次数经调优以实现最佳性能与内存效率平衡。

实验结果

研究问题

• RQ1 自注意力机制能否有效建模稀疏3D点云中的长距离形状上下文，从而提升跟踪性能？
• RQ2 通过交叉注意力与自特征增强实现的迭代式自底向上相关性学习，如何提升对外观变化的鲁棒性？
• RQ3 在3D跟踪中，局部特征聚合（通过k-NN）与全局注意力之间应如何实现最优平衡？
• RQ4 所提出的孪生Transformer相较于现有2D与3D孪生基线模型，在精度与推理效率方面表现如何？
• RQ5 通过注意力机制学习形状上下文在真实世界3D数据集上的跟踪性能提升程度如何？

主要发现

• 所提出的STNet在KITTI、nuScenes和Waymo数据集上达到最先进性能，成功率为72.1%，精度为84.0%。
• 消融实验表明，结合非局部嵌入与自适应特征插值可将性能从66.1%（PointNet++）提升至72.1%的成功率。
• 同时使用交叉特征增强与自特征增强（CF aug. + EF aug.）效果最佳，优于单一模块基线。
• 自特征增强的最优k-NN大小为K=48，可在捕捉局部结构与抑制背景噪声之间实现最佳平衡。
• 自底向上相关性网络中采用两次迭代在性能与GPU内存使用之间达到最佳权衡。
• 可视化结果表明，包含所有组件的STNet能有效聚焦于目标，而部分模型则无法将车辆与背景区分开。