[论文解读] Joint 3D Reconstruction of a Static Scene and Moving Objects

Sergio Caccamo, Esra Ataer-Cansızoğlu+1 more|arXiv (Cornell University)|Feb 13, 2018

Robotics and Sensor-Based Localization参考文献 24被引用 3

一句话总结

该论文提出了一种实时SLAM系统，通过为静态区域和动态区域分别维护独立的地图，利用RGB-D数据联合重建静态场景和刚性运动物体。该系统采用多组注册方案——融合全帧和基于图像块的RANSAC注册——以鲁棒地将特征分类为静态或动态，从而实现实时3D物体建模，且无需对运动模式作先验假设。

ABSTRACT

We present a technique for simultaneous 3D reconstruction of static regions and rigidly moving objects in a scene. An RGB-D frame is represented as a collection of features, which are points and planes. We classify the features into static and dynamic regions and grow separate maps, static and object maps, for each of them. To robustly classify the features in each frame, we fuse multiple RANSAC-based registration results obtained by registering different groups of the features to different maps, including (1) all the features to the static map, (2) all the features to each object map, and (3) subsets of the features, each forming a segment, to each object map. This multi-group registration approach is designed to overcome the following challenges: scenes can be dominated by static regions, making object tracking more difficult; and moving object might have larger pose variation between frames compared to the static regions. We show qualitative results from indoor scenes with objects in various shapes. The technique enables on-the-fly object model generation to be used for robotic manipulation.

研究动机与目标

• 解决在动态场景中同时重建静态环境与刚性运动物体的挑战。
• 克服SLAM中的鸡肋问题：准确的相机定位依赖于已知的物体运动，反之亦然。
• 在场景建图过程中实现实时3D物体模型生成，无需额外扫描或平滑运动假设。
• 即使在静态结构占主导地位或物体位姿变化剧烈的情况下，仍能保持对静态与动态区域的鲁棒特征分类。
• 支持连续与离散的物体运动模式，包括物体在非连续帧中出现的情况。

提出的方法

• 将每个RGB-D帧表示为3D点、2D点和3D平面的集合，并按几何分析需求分组为若干片段。
• 使用第一帧初始化静态地图，并通过注册到静态地图后高异常值比例检测运动物体。
• 采用多组注册：将所有特征及各类特征子集（片段）同时注册到静态地图和物体地图，以提升鲁棒性。
• 融合多个基于RANSAC的注册结果，根据内点一致性将特征分类为属于静态或动态区域。
• 维护独立且不相交的静态与运动物体地图，实现独立优化与长期稳定跟踪。
• 对两张地图分别执行异步bundle adjustment，利用稀疏特征表示优化3D结构与相机位姿。

实验结果

研究问题

• RQ1 SLAM系统如何在不预先知晓物体运动的情况下，同时重建静态场景与刚性运动物体？
• RQ2 在存在主导静态结构的情况下，何种几何验证策略能实现对静态与动态区域之间特征的鲁棒分类？
• RQ3 是否可在自主探索过程中实现实时3D物体模型构建，而无需专门的扫描阶段？
• RQ4 与单重注册方法相比，多组注册在动态场景中如何提升鲁棒性？
• RQ5 当同一帧中存在多个运动物体时，系统的局限性是什么，以及如何缓解？

主要发现

• 多组注册方法通过结合全帧与基于片段的RANSAC结果，显著提升了特征分类的准确性，尤其在静态区域占主导的场景中表现更优。
• 系统成功地从多个关键帧中部分且被遮挡的观测中重建出完整的3D物体模型，如图6(D)所示。
• 静态地图随时间稳定增长，而物体地图仅在物体可见时扩展，证实了动态区域检测的有效性（图7）。
• 该方法实现了实时、实时的3D物体建模，无需假设运动平滑或连续，支持连续与离散的物体出现模式。
• 系统能够处理突发性物体运动和无纹理物体，但因依赖稀疏特征，低纹理区域性能会下降。
• 主要局限是无法在单帧中区分多个运动物体，导致多个物体共享同一张物体地图，可能影响重建精度。