[论文解读] Dual Quadrics from Object Detection BoundingBoxes as Landmark Representations in SLAM

Niko Sünderhauf, Michael Milford|arXiv (Cornell University)|Aug 3, 2017

Robotics and Sensor-Based Localization参考文献 22被引用 15

一句话总结

该论文提出在基于因子图的SLAM中使用双重二次曲面作为3D特征点表示，直接从2D目标检测边界框约束其参数。结果表明，联合优化机器人位姿与二次曲面参数可提升单目及深度增强设置下的轨迹与地图精度，实现无需预先CAD模型或椭圆拟合的基于物体级别的语义SLAM。

ABSTRACT

Research in Simultaneous Localization And Mapping (SLAM) is increasingly moving towards richer world representations involving objects and high level features that enable a semantic model of the world for robots, potentially leading to a more meaningful set of robot-world interactions. Many of these advances are grounded in state-of-the-art computer vision techniques primarily developed in the context of image-based benchmark datasets, leaving several challenges to be addressed in adapting them for use in robotics. In this paper, we derive a formulation for Simultaneous Localization And Mapping (SLAM) that uses dual quadrics as 3D landmark representations, and show how 2D bounding boxes (such as those typically obtained from visual object detection systems) can directly constrain the quadric parameters. Our paper demonstrates how to jointly estimate the robot pose and dual quadric parameters in factor graph based SLAM with a general perspective camera, and covers the use-cases of a robot moving with a monocular camera with and without the availability of additional depth information.

研究动机与目标

• 通过使用基于物体的特征点而非几何点来实现语义SLAM，以增强机器人与世界交互的能力。
• 填补SLAM系统中未充分利用现代目标检测输出以实现更丰富世界表征的空白。
• 开发一种直接、高效的方法，利用SOTA检测器（如Faster R-CNN或SSD）生成的2D边界框参数化3D特征点。
• 将双重二次曲面集成到通用透视相机SLAM框架中，避免先前基于正交投影或依赖预处理方法的局限性。
• 在单目和深度增强场景下评估双重二次曲面特征点对轨迹与地图精度的影响。

提出的方法

• 将3D物体特征点参数化为双重二次曲面，以紧凑方式表示其形状、尺寸、位置与朝向。
• 推导2D目标检测边界框与双重二次曲面参数之间的闭式关系，实现在因子图中直接约束。
• 构建基于因子图的SLAM系统，利用透视投影模型联合优化机器人位姿与双重二次曲面参数。
• 将目标检测结果作为因子集成到因子图中，利用2D框坐标以及可选的深度传感器提供的相对位姿观测。
• 利用双重二次曲面表示实现回环检测，并在单目序列中校正累积的里程计漂移。
• 通过直接从边界框估计二次曲面，避免椭圆拟合等预处理步骤，提升鲁棒性与效率。

实验结果

研究问题

• RQ1 能否直接利用深度学习模型生成的2D目标检测边界框来约束SLAM中3D双重二次曲面特征点的参数？
• RQ2 与仅依赖里程计的估计相比，使用双重二次曲面作为特征点在单目SLAM中如何提升轨迹与地图精度？
• RQ3 从深度传感器引入相对位姿观测对基于双重二次曲面的SLAM性能有何影响？
• RQ4 与需要椭圆拟合或假设正交相机的先前工作相比，该方法有何优势？
• RQ5 双重二次曲面能否作为语义SLAM中更精细3D重建的锚点？

主要发现

• 联合优化双重二次曲面参数与机器人位姿的SLAM方案显著降低了轨迹误差，在单目场景下将平均位置RMSE从5.31降低至1.75。
• 中位数位置RMSE从4.03降至0.63，表明通过重新观测特征点可有效校正里程计漂移。
• 引入深度传感器提供的相对位姿观测后性能进一步提升，平均位置RMSE降至1.75，中位数降至0.63。
• 系统实现了2.86的中位数特征点位置误差与0.12的中位数体积误差，表明对物体尺寸与形状的估计准确。
• 即使在仅依赖噪声较大的里程计的单目模式下，系统仍可通过回环检测校正轨迹误差，凸显基于物体的特征点的价值。
• 在平面相机运动下系统表现出不稳定与收敛性差，表明此类情况下仍需改进约束或初始化策略。