[论文解读] BundleSDF: Neural 6-DoF Tracking and 3D Reconstruction of Unknown Objects

Bowen Wen, Jonathan Tremblay+7 more|arXiv (Cornell University)|Mar 24, 2023

Human Pose and Action Recognition被引用 5

一句话总结

BundleSDF 提出了一种近似实时（10Hz）的方法，用于从单目 RGBD 视频中联合实现对未知刚性物体的 6-DoF 跟踪与神经 3D 重建，仅需首帧的 2D 掩码。它通过使用动态记忆池联合训练神经物体场与姿态图优化，实现了在无纹理、镜面或严重遮挡物体上的鲁棒性能，且先验假设极少。

ABSTRACT

We present a near real-time method for 6-DoF tracking of an unknown object from a monocular RGBD video sequence, while simultaneously performing neural 3D reconstruction of the object. Our method works for arbitrary rigid objects, even when visual texture is largely absent. The object is assumed to be segmented in the first frame only. No additional information is required, and no assumption is made about the interaction agent. Key to our method is a Neural Object Field that is learned concurrently with a pose graph optimization process in order to robustly accumulate information into a consistent 3D representation capturing both geometry and appearance. A dynamic pool of posed memory frames is automatically maintained to facilitate communication between these threads. Our approach handles challenging sequences with large pose changes, partial and full occlusion, untextured surfaces, and specular highlights. We show results on HO3D, YCBInEOAT, and BEHAVE datasets, demonstrating that our method significantly outperforms existing approaches. Project page: https://bundlesdf.github.io

研究动机与目标

• 解决在无预训练 3D 模型或类别级监督条件下，对任意未知刚性物体进行 6-DoF 物体跟踪与 3D 重建的挑战。
• 克服先前方法依赖纹理 CAD 模型、类别级预训练或已知相机位姿的局限性。
• 在严重遮挡、无纹理表面、镜面反光以及大幅位姿变化下实现鲁棒性能。
• 以因果、在线方式同步实现精确跟踪与高保真 3D 重建，且初始化需求极少。
• 开发一种协同设计框架，将神经重建与姿态优化相结合，以减少跟踪漂移并提升一致性。

提出的方法

• 利用神经物体场通过神经渲染的符号距离函数（SDF）隐式表示物体的 3D 形状与外观。
• 集成一个姿态帧的动态记忆池，以实现姿态图优化与神经重建过程之间的双向通信。
• 采用混合 SDF 表示法，以建模由噪声分割和外部遮挡引起的不确定自由空间。
• 执行在线姿态图优化，动态校正历史跟踪位姿，以保持多视角一致性并减少漂移。
• 采用协同设计架构，使跟踪与重建在实时中联合训练，神经场为姿态估计提供几何监督。
• 应用因果推理策略，确保仅使用过去观测进行跟踪与重建，从而支持实时部署。

Figure 2 : Framework overview. First, features are matched between consecutive segmented images, to obtain a coarse pose estimate (Sec. 3.1 ). Some of these posed frames are stored in a memory pool, to be used and refined later (Sec. 3.2 ). A pose graph is dynamically created from a subset of the me

实验结果

研究问题

• RQ1 神经 3D 重建系统是否能在无需预存在的 3D 模型或类别级先验的情况下，实现对未知刚性物体的精确 6-DoF 跟踪？
• RQ2 在存在大运动、遮挡和低纹理表面的单目 RGBD 序列中，如何有效缓解跟踪漂移？
• RQ3 神经隐式表示在多大程度上能提升对噪声或不完整观测（如不准确的分割掩码）的鲁棒性？
• RQ4 姿态图与神经场学习的联合优化框架是否能在跟踪精度与重建质量上优于解耦或单阶段方法？
• RQ5 该方法在多样化物体类别、交互代理以及镜面反射或部分遮挡等挑战性视觉条件下，泛化能力如何？

主要发现

• BundleSDF 在 HO3D、YCBInEOAT 和 BEHAVE 数据集上均达到最先进性能，在 BEHAVE 数据集上的平均 ADD-S 得分为 83.63%，显著优于先前方法。
• 在 BEHAVE 数据集上，BundleSDF 的平均 CD（Chamfer 距离）为 4.66 cm，远低于次优方法的 19.27 cm，表明其 3D 重建质量更优。
• 该方法在严重遮挡下表现出鲁棒性，定性结果表明其在完全遮挡期间（如 'Date03_Sub05_chairblack_hand.3'）仍能保持精确跟踪。
• 在分割掩码存在噪声的情况下，BundleSDF 仍能维持精确的跟踪与重建，可视化结果验证了其对假阳性和假阴性结果的鲁棒性。
• 在快速运动或运动模糊场景中，该方法偶尔能产生比真实值更精确的位姿估计，表明其具备极高的跟踪精度。
• 混合 SDF 表示法有效处理了由遮挡和分割误差引起的自由空间不确定性，从而促进了稳定且一致的 3D 重建。

Figure 3 : Left: Octree-voxel representation for efficient ray tracing, using the predicted binary mask from the video segmentation network (Sec. 3.1 ), which contains errors. Rays can land inside the mask (shown as red) or outside (yellow). Right: 2D top-down illustration of the neural volume and p