[论文解读] Beyond 3D Siamese Tracking: A Motion-Centric Paradigm for 3D Single Object Tracking in Point Clouds

Chaoda Zheng, Yan Xu+5 more|arXiv (Cornell University)|Mar 3, 2022

Advanced Neural Network Applications被引用 4

一句话总结

本文提出 M²-Track，一种以运动为中心的 LiDAR 点云 3D 单目标跟踪框架，通过建模帧间目标运动来绕过外观匹配。它采用两阶段流水线实现运动变换——首先通过运动预测定位目标，然后通过运动辅助的形状补全来优化边界框，从而在 KITTI、NuScenes 和 Waymo Open Dataset 上实现 SOTA 性能，分别获得 8–22% 的精度提升，推理速度达 57 FPS。

ABSTRACT

3D single object tracking (3D SOT) in LiDAR point clouds plays a crucial role in autonomous driving. Current approaches all follow the Siamese paradigm based on appearance matching. However, LiDAR point clouds are usually textureless and incomplete, which hinders effective appearance matching. Besides, previous methods greatly overlook the critical motion clues among targets. In this work, beyond 3D Siamese tracking, we introduce a motion-centric paradigm to handle 3D SOT from a new perspective. Following this paradigm, we propose a matching-free two-stage tracker M^2-Track. At the 1^st-stage, M^2-Track localizes the target within successive frames via motion transformation. Then it refines the target box through motion-assisted shape completion at the 2^nd-stage. Extensive experiments confirm that M^2-Track significantly outperforms previous state-of-the-arts on three large-scale datasets while running at 57FPS (~8%, ~17%, and ~22%) precision gains on KITTI, NuScenes, and Waymo Open Dataset respectively). Further analysis verifies each component's effectiveness and shows the motion-centric paradigm's promising potential when combined with appearance matching.

研究动机与目标

• 解决基于 Siamese 的 3D SOT 在纹理缺失、不完整以及干扰物丰富的 LiDAR 点云中的局限性。
• 克服对外观匹配的依赖，该方法在高速运动或低帧率条件下会失效。
• 利用 3D 场景中固有的运动线索，构建一种鲁棒的、无需匹配的跟踪范式。
• 设计一种两阶段跟踪器，通过运动建模与形状补全提升定位精度。
• 证明以运动为中心的跟踪可与外观匹配方法结合，进一步提升性能。

提出的方法

• 提出一种以运动为中心的范式，通过相对运动估计在连续帧中定位目标，而非依赖外观匹配。
• 设计一种两阶段跟踪器：在第一阶段，通过运动变换预测帧间运动以实现目标定位。
• 在第二阶段，通过融合基于相对运动的局部目标视图，实现运动辅助的形状补全，以优化 3D 边界框。
• 引入一个框感知特征增强模块，以提升运动预测的特征表示能力。
• 集成一个二分类运动分类头，用于区分目标运动与背景运动。
• 采用轻量级 PointNet 主干网络，在保持高精度的同时实现实时推理（57 FPS）。

实验结果

研究问题

• RQ1 在 3D 点云中，运动建模能否作为 3D SOT 中外观匹配的可行替代方案？
• RQ2 在高速运动、遮挡和密集交通等挑战性条件下，以运动为中心的跟踪器表现如何？
• RQ3 基于运动的跟踪能否与外观匹配方法有效结合以进一步提升性能？
• RQ4 运动建模与特定网络组件在整体跟踪精度中的贡献分别是什么？
• RQ5 该以运动为中心的范式对帧采样率变化的鲁棒性如何？

主要发现

• M²-Track 在 KITTI、NuScenes 和 Waymo Open Dataset 上均达到 SOTA 性能，分别实现 8%、17% 和 22% 的相对精度提升。
• 模型推理速度达 57 FPS，比之前表现最佳的 BAT 快 1.67 倍，且内存占用减少 31.1%。
• 消融实验表明，运动预测、形状补全和框感知特征增强等各组件对性能均有显著贡献。
• 以运动为中心的范式对干扰物和外观变化具有鲁棒性，尤其在密集交通场景中表现优异。
• 将 M²-Track 与基于外观的跟踪器（如 BAT 或 P2B）结合可进一步提升性能，证明其兼容性与协同效应。
• 运动增强可提升泛化能力，尤其对低帧率数据训练的模型有益；但会因干扰物距离增加而对基于外观的方法产生负面影响。