[论文解读] HiFT: Hierarchical Feature Transformer for Aerial Tracking

Ziang Cao, Changhong Fu+3 more|arXiv (Cornell University)|Jul 31, 2021

Video Surveillance and Tracking Methods参考文献 52被引用 11

一句话总结

HiFT 提出了一种用于航拍视觉目标跟踪的层次化特征变换器（HiFT），通过轻量级变换器融合多级卷积特征，以增强判别能力和定位精度。通过整合浅层的空间细节与深层的语义线索，HiFT 在航拍基准上实现了 130 FPS 的 SOTA 性能，优于使用更深主干网络的跟踪器，同时在嵌入式无人机平台上保持了实时效率。

ABSTRACT

Most existing Siamese-based tracking methods execute the classification and regression of the target object based on the similarity maps. However, they either employ a single map from the last convolutional layer which degrades the localization accuracy in complex scenarios or separately use multiple maps for decision making, introducing intractable computations for aerial mobile platforms. Thus, in this work, we propose an efficient and effective hierarchical feature transformer (HiFT) for aerial tracking. Hierarchical similarity maps generated by multi-level convolutional layers are fed into the feature transformer to achieve the interactive fusion of spatial (shallow layers) and semantics cues (deep layers). Consequently, not only the global contextual information can be raised, facilitating the target search, but also our end-to-end architecture with the transformer can efficiently learn the interdependencies among multi-level features, thereby discovering a tracking-tailored feature space with strong discriminability. Comprehensive evaluations on four aerial benchmarks have proven the effectiveness of HiFT. Real-world tests on the aerial platform have strongly validated its practicability with a real-time speed. Our code is available at https://github.com/vision4robotics/HiFT.

研究动机与目标

• 解决基于单特征图或高计算成本多特征图的孪生跟踪器在航拍跟踪中的局限性。
• 通过有效融合多级特征，提升复杂航拍场景（如遮挡、低分辨率和快速运动）下的定位精度。
• 开发一种高效、端到端可训练的架构，在资源受限的无人机平台上保持实时推理速度。
• 通过新型特征调制层和重新定义的分类标签，增强小目标的特征表示能力。
• 在真实无人机部署中验证跟踪器的鲁棒性与效率。

提出的方法

• HiFT 采用层次化特征变换器，以多个卷积层的特征图（浅层用于空间细节，深层用于语义信息）作为输入。
• 变换器端到端建模多级特征之间的依赖关系，学习具有强判别能力的跟踪专用特征空间。
• 使用深层网络的低分辨率特征作为变换器中的查询，替代标准的可学习对象查询，以提升视觉跟踪中的泛化能力。
• 引入一种新型特征调制层，以增强多级特征之间的相互依赖关系，尤其提升小目标的性能。
• 设计了一种新型分类标签，以更好地监督变换器的特征学习，提升判别力与定位能力。
• 整个网络端到端训练，实现特征融合与跟踪头的联合优化。

实验结果

研究问题

• RQ1 层次化特征变换器能否有效融合孪生网络的多级特征，从而在复杂航拍场景中提升跟踪精度？
• RQ2 如何使基于变换器的架构足够高效，以实现在嵌入式无人机平台上的实时部署？
• RQ3 所提出的特征调制层与分类标签是否能提升航拍跟踪中对小目标或遮挡目标的性能？
• RQ4 轻量级 HiFT 跟踪器能否在保持实时推理速度的同时，实现与使用更深主干网络的 SOTA 跟踪器相当的性能？
• RQ5 HiFT 在实际无人机部署中，面对视角变化与运动模糊等实际挑战时表现如何？

主要发现

• HiFT 在 UAV20L 上达到 0.783 的平均精度，在 DTB70 上达到 0.763，优于所有使用更深主干网络的 SOTA 跟踪器。
• 在标准基准上，HiFT 推理速度达 129.87 FPS，显著快于使用更深主干网络的跟踪器（如 SiamRPN++_ResNet-50）的 71.59 FPS。
• 在 UAV20L 上，HiFT 的精度（0.763）优于第二名跟踪器（SiamRPN++_ResNet-50）的 0.749，且速度提升 1.8 倍。
• 在 NVIDIA AGX Xavier 上的真实无人机测试中，HiFT 无需 TensorRT 仍保持平均 31.2 FPS 的速度，展现出强大的实用性。
• 该跟踪器在部分遮挡、视角变化、低分辨率及相似物体干扰等挑战性条件下表现出鲁棒性能。
• 消融实验表明，特征调制层与新型分类标签均对性能提升有显著贡献，尤其在小目标上表现突出。