[论文解读] Contextually Guided Semantic Labeling and Search for 3D Point Clouds

Abhishek Anand, Hema Swetha Koppula+2 more|arXiv (Cornell University)|Nov 22, 2011

Robotics and Sensor-Based Localization参考文献 48被引用 58

一句话总结

本文提出了一种基于结构化图模型的上下文引导语义标注与搜索框架，用于3D点云，通过整合视觉、形状和几何关系以提升目标检测与机器人搜索性能。该方法在办公室和家庭场景中的标注准确率分别达到84.06%和73.38%，并使移动机器人能够以97.56%的精度和78.43%的召回率定位12类物体，采用基于学习到的场景语义的上下文感知导航策略。

ABSTRACT

RGB-D cameras, which give an RGB image to- gether with depths, are becoming increasingly popular for robotic perception. In this paper, we address the task of detecting commonly found objects in the 3D point cloud of indoor scenes obtained from such cameras. Our method uses a graphical model that captures various features and contextual relations, including the local visual appearance and shape cues, object co-occurence relationships and geometric relationships. With a large number of object classes and relations, the model's parsimony becomes important and we address that by using multiple types of edge potentials. We train the model using a maximum-margin learning approach. In our experiments over a total of 52 3D scenes of homes and offices (composed from about 550 views), we get a performance of 84.06% and 73.38% in labeling office and home scenes respectively for 17 object classes each. We also present a method for a robot to search for an object using the learned model and the contextual information available from the current labelings of the scene. We applied this algorithm successfully on a mobile robot for the task of finding 12 object classes in 10 different offices and achieved a precision of 97.56% with 78.43% recall.

研究动机与目标

• 通过利用全场景点云实现超越2D图像方法的语义标注，以提升3D场景理解能力。
• 在结构化图模型中建模丰富的上下文关系（几何、共现与视觉关系），以提高标注准确率。
• 开发一种上下文引导的搜索算法，使移动机器人能够预测物体的可能位置并实现高效导航。
• 在杂乱的室内环境中对真实机器人平台进行评估，确保方法具备高精度与鲁棒性。

提出的方法

• 使用结构化条件随机场（SCRF）通过多种类型的边势能对3D片段之间的成对关系进行建模，包括视觉相似性、共面性、接近度以及物体共现关系。
• 采用最大间隔学习联合优化所有参数，最小化训练损失的上界，以提升泛化能力。
• 团势能具有专门化设计：关联势能用于建模标签相似性，非关联势能则编码几何关系如‘在…之上’或‘在…前方’。
• 系统采用高效的近似推理算法（如Rother等，2007年）进行推理，可扩展至每场景约50个片段的大场景。
• 在机器人搜索中，基于当前标注结果计算物体可能性的3D热力图，引导机器人向具有上下文合理性的位置移动。
• 机器人通过一系列扫描与基于预测高概率区域的重新定位，提升对被遮挡或小型物体的检测能力。

实验结果

研究问题

• RQ1 是否能够通过整合视觉、形状与几何上下文的结构化图模型，提升3D点云中的语义标注准确率？
• RQ2 如何在高维标签空间中高效建模如物体共现与空间排列等上下文关系？
• RQ3 上下文感知的物体搜索是否能够减少在杂乱室内场景中定位物体所需的机器人移动次数？
• RQ4 通过基于上下文的导航，该模型在多大程度上提升了对小型或被遮挡物体的检测能力？

主要发现

• 该方法在52个办公室场景和52个家庭场景中分别实现了84.06%和73.38%的标注准确率，每类场景包含17种物体类别。
• 在机器人实验中，系统在10个办公室场景中搜索12类物体时，实现了97.56%的精度与78.43%的召回率。
• 对于被遮挡的键盘，预测位置与实际位置之间的平均距离为17.5厘米（均值），显著优于使用中点预测的32.6厘米基线。
• 通过上下文感知预测，键盘定位的中位误差从基线的27.2厘米降低至15.9厘米。
• 定性结果表明，系统能正确预测显示器（在桌子上）、键盘（在显示器前方）和抽屉（在桌子下方）等物体的可能位置。
• 系统成功定位了最初因遮挡或点云密度低而未被检测到的物体，展示了对部分观测的鲁棒性。