[论文解读] Labeling 3D scenes for Personal Assistant Robots

Hema Swetha Koppula, Abhishek Anand+2 more|arXiv (Cornell University)|Jun 28, 2011

Robotics and Sensor-Based Localization参考文献 32被引用 11

一句话总结

本文提出一种结构化的图模型，利用RGB-D传感器获取的3D点云对室内场景中的物体及其空间关系进行标注。通过简洁的边势函数建模视觉、形状和几何关系，并采用最大间隔学习与高效推理，该方法在办公场景中达到84.06%的准确率，在家庭场景中达到73.38%，实现了在杂乱环境中机器人成功检索物体。

ABSTRACT

Inexpensive RGB-D cameras that give an RGB image together with depth data have become widely available. We use this data to build 3D point clouds of a full scene. In this paper, we address the task of labeling objects in this 3D point cloud of a complete indoor scene such as an office. We propose a graphical model that captures various features and contextual relations, including the local visual appearance and shape cues, object co-occurrence relationships and geometric relationships. With a large number of object classes and relations, the model's parsimony becomes important and we address that by using multiple types of edge potentials. The model admits efficient approximate inference, and we train it using a maximum-margin learning approach. In our experiments over a total of 52 3D scenes of homes and offices (composed from about 550 views, having 2495 segments labeled with 27 object classes), we get a performance of 84.06% in labeling 17 object classes for offices, and 73.38% in labeling 17 object classes for home scenes. Finally, we applied these algorithms successfully on a mobile robot for the task of finding an object in a large cluttered room.

研究动机与目标

• 通过利用完整的3D点云而非2D图像，提升室内场景中的物体标注性能。
• 在3D空间中建模丰富的上下文关系，如几何布局、共现关系和空间邻近性。
• 开发一种简洁的图模型，高效处理大量物体类别与关系。
• 支持真实世界机器人应用，如在杂乱环境中进行物体检索。
• 公开模型与数据集，以推动3D场景理解研究的发展。

提出的方法

• 使用SLAM从多张RGB-D图像构建3D点云，生成完整的场景表示。
• 对3D点云进行过分割，生成用于标注的区域。
• 采用结构化图模型，节点代表区域，成对势函数编码视觉相似性、形状、共现性以及几何关系（如“在...之上”、“相邻于”）。
• 使用多种类型的边势函数，分别建模关联与非关联关系，提升模型简洁性。
• 采用最大间隔学习（SVM-MRF）进行模型训练，同时最小化训练损失的上界。
• 通过MIP求解器或图割算法实现高效的近似推理，其中后者可实现实时性能。

实验结果

研究问题

• RQ1 能否证明一种捕捉几何与上下文关系的3D场景理解模型，在物体标注上优于基于2D的方法？
• RQ2 包含空间关系（如“在...之上”、“在...前面”）是否能提升标注准确率？
• RQ3 在3D场景中建模邻域关系的最优上下文范围是多少？
• RQ4 与单视角2.5D数据相比，完整场景的3D数据在标注性能上表现如何？
• RQ5 该模型能否有效应用于真实机器人任务，如在杂乱房间中进行物体检测？

主要发现

• 所提模型在办公场景中17类物体上的微平均F1得分达到84.06%，在家庭场景中达到73.38%，展现出在不同环境下的强大泛化能力。
• 建模关系的最优上下文范围在办公场景中约为0.3米，在家庭场景中约为0.6米，超过此范围性能略有下降，原因在于无关物体引入的噪声。
• 通过多视角构建完整3D场景，相比单视角2.5D模型，显著提升了宏观精确率与召回率，原因在于上下文信息更完整、区域更完整。
• 图割推理的精确率（90.25）高于MIP求解器，但召回率（61.74）较低，然而其速度显著更快，适用于实时机器人部署。
• 该模型成功使移动机器人在杂乱房间中定位到键盘，验证了其在机器人应用中的实际可用性。
• 针对机器人任务的属性学习（如“小物体”、“平坦水平表面”）在办公场景中达到87.92%的精确率与71.93%的召回率，表现出在操作相关属性上的优异性能。