[论文解读] Find my mug: Efficient object search with a mobile robot using semantic segmentation

Daniel Wolf, Markus Bajones+2 more|arXiv (Cornell University)|Apr 23, 2014

Robotics and Sensor-Based Localization参考文献 2被引用 3

一句话总结

本文提出了一种基于随机决策森林（RDF）的高效3D语义分割框架，适用于移动机器人，实现了室内场景的实时理解。在NYU Depth数据集上，该方法实现了71.7%的类别平均准确率和77.2%的全局准确率，通过优先搜索桌子等可能位置显著加速了物体搜索。

ABSTRACT

In this paper, we propose an efficient semantic segmentation framework for indoor scenes, tailored to the application on a mobile robot. Semantic segmentation can help robots to gain a reasonable understanding of their environment, but to reach this goal, the algorithms not only need to be accurate, but also fast and robust. Therefore, we developed an optimized 3D point cloud processing framework based on a Randomized Decision Forest, achieving competitive results at sufficiently high frame rates. We evaluate the capabilities of our method on the popular NYU depth dataset and our own data and demonstrate its feasibility by deploying it on a mobile service robot, for which we could optimize an object search procedure using our results.

研究动机与目标

• 解决移动服务机器人在室内环境中实时语义分割的挑战。
• 开发一种适用于资源受限机器人系统部署的快速且准确的分割框架。
• 通过利用语义标签优先考虑可能的物体位置，实现智能物体搜索。
• 优化分割流程以实现高帧率，同时不牺牲准确性。
• 在真实移动机器人场景中展示语义分割的实际应用。

提出的方法

• 应用随机决策森林（RDF）对从RGB-D数据中提取的3D点云簇进行分类。
• 通过简单聚类实现过分割，以生成初始超像素点用于特征提取。
• 从每个超像素点提取几何和颜色特征，用于训练RDF进行语义标注。
• 应用条件随机场（CRF）利用局部空间上下文信息优化预测结果。
• 通过调整树的数量和最大树深度等超参数，优化RDF以实现速度与准确率的平衡。
• 在移动机器人上部署该框架，通过识别可能的物体位置（如桌子）来引导物体搜索。

实验结果

研究问题

• RQ1 能否为移动机器人实现实时部署的快速且准确的语义分割框架？
• RQ2 在室内3D场景中，基于RDF的方法在准确率和推理速度方面与现有方法相比如何？
• RQ3 语义分割在多大程度上能提升服务机器人中物体搜索的效率？
• RQ4 哪些超参数设置（如树的数量、深度）能在准确率与速度之间实现最优权衡？
• RQ5 语义分割结果能否有效用于在移动机器人上引导动态、上下文感知的物体搜索？

主要发现

• 基于RDF的框架在NYU Depth V2数据集上实现了71.7%的类别平均准确率和77.2%的全局准确率，在速度-准确率权衡方面优于先前工作。
• 在使用8棵树且最大深度为8时，系统在标准笔记本电脑上以约1帧/秒的速度处理640×480的点云。
• 通过将桌子识别为主要搜索位置，该方法显著提升了物体搜索效率，缩小了搜索空间。
• 增加树的数量可提高准确率，但性能在8棵树后趋于饱和。
• 更高的树深度可提升性能，但过深的树不会带来进一步改善，原因在于训练数据有限。
• 该框架在真实移动服务机器人上的部署中表现出可行性，实现了上下文感知的物体搜索。