[论文解读] BundleTrack: 6D Pose Tracking for Novel Objects without Instance or Category-Level 3D Models

Bowen Wen, Kostas E. Bekris|arXiv (Cornell University)|Aug 1, 2021

Human Pose and Action Recognition被引用 7

一句话总结

BundleTrack 是一种新颖的 6D 物体位姿跟踪框架，无需实例或类别级 3D 模型即可实现新物体的最先进性能。它结合了基于深度学习的视频实例分割与关键点匹配，以及基于记忆增强的位姿图优化，实现了在遮挡和运动条件下的长期、低漂移跟踪，在 NOCS 基准测试中达到 87.4% 的准确率，与使用 CAD 模型的方法相当。

ABSTRACT

Tracking the 6D pose of objects in video sequences is important for robot manipulation. Most prior efforts, however, often assume that the target object's CAD model, at least at a category-level, is available for offline training or during online template matching. This work proposes BundleTrack, a general framework for 6D pose tracking of novel objects, which does not depend upon 3D models, either at the instance or category-level. It leverages the complementary attributes of recent advances in deep learning for segmentation and robust feature extraction, as well as memory-augmented pose graph optimization for spatiotemporal consistency. This enables long-term, low-drift tracking under various challenging scenarios, including significant occlusions and object motions. Comprehensive experiments given two public benchmarks demonstrate that the proposed approach significantly outperforms state-of-art, category-level 6D tracking or dynamic SLAM methods. When compared against state-of-art methods that rely on an object instance CAD model, comparable performance is achieved, despite the proposed method's reduced information requirements. An efficient implementation in CUDA provides a real-time performance of 10Hz for the entire framework. Code is available at: https://github.com/wenbowen123/BundleTrack

研究动机与目标

• 解决现有 6D 位姿跟踪方法在训练或推理阶段需要实例或类别级 3D 模型的局限性。
• 在遮挡、运动和低纹理表面等挑战性条件下，实现对新出现的、未见过的物体的鲁棒、长期 6D 位姿跟踪。
• 开发一种可泛化的框架，在不同物体实例间保持跟踪准确率，无需微调或重新训练。
• 通过基于记忆增强的位姿图优化策略，利用时空一致性，减少跟踪漂移。

提出的方法

• 利用预训练的深度学习模型进行实例分割与关键点检测，从 RGB 视频帧中提取 2D-3D 对应点。
• 应用多对特征匹配策略，将当前帧与记忆池中存储的多个历史关键帧关联。
• 采用基于记忆增强的位姿图优化方法，通过全局能量函数联合优化多帧位姿。
• 在记忆池中保留原始历史观测作为关键帧，而非将其融合为全局 3D 模型，从而减少漂移累积。
• 采用 CUDA 加速实现，使整个流水线（包括分割与优化）在单张 GPU 上实现 10Hz 实时性能。
• 集成一种鲁棒的数据关联机制，支持多跳对应链接，提升在连续帧匹配模糊时的可靠性。

Figure 1: Top: NOCS Dataset [ 13 ] example: The target object exits the camera’s frustum during tracking but BundleTrack maintains its estimate without re-initialization. Bottom: YCBInEOAT Dataset [ 22 ] example: The object is successfully tracked during pick and place manipulation by a robotic arm,

实验结果

研究问题

• RQ1 是否可以在不访问任何实例或类别级 3D 模型的前提下，实现对新物体的 6D 物体位姿跟踪？
• RQ2 与传统 SLAM 或基于模板的方法相比，基于记忆增强的位姿图优化在减少长期跟踪漂移方面有多有效？
• RQ3 该框架在分布外物体实例（尤其是形状不规则或低纹理物体）上的泛化能力如何？
• RQ4 与依赖 CAD 模型或类别级先验的最先进方法相比，该方法在准确率和鲁棒性方面表现如何？

主要发现

• 在 NOCS 基准测试中，BundleTrack 在 5°5cm 评估协议下达到 87.4% 的准确率，显著优于此前最先进方法的 33.3%。
• 即使未使用任何 3D 模型，该方法仍优于最先进类别级 6D 跟踪方法（如 6-PACK）和动态 SLAM 方法（如 MaskFusion）。
• 尽管信息需求更少，其性能仍可与依赖实例 CAD 模型的方法（如 RGF、$se(3)$-TrackNet）相媲美。
• 在所有测试序列中，系统在严重自遮挡或物体运动情况下均能保持稳定跟踪，无需重新初始化。
• 消融实验证实，基于记忆增强的位姿图优化及各项能量项显著提升了跟踪准确率与鲁棒性。
• 系统在单张 GPU 上以 10Hz 实时运行，速度优于相关方法（如 MaskFusion 的 17Hz 和 6-PACK 的 4Hz），且准确率更高。

Figure 2: BundleTrack framework from left to right: (1) an image segmentation network returns the object mask given the prior one; (2) a network detects keypoints and their descriptors; (3) keypoints are matched and coarse registration is performed between consecutive frames to estimate an initial r