[论文解读] Approaches and Challenges in Robotic Perception for Table-top Rearrangement and Planning

Aditya Agarwal, Bipasha Sen+4 more|arXiv (Cornell University)|May 9, 2022

Robotics and Sensor-Based Localization被引用 4

一句话总结

本文对桌面机器人重排中的感知挑战进行了全面分析，重点关注三维场景配准、未知物体检测和抓取点选择。提出了解决方案，如以物体为中心的抓取提议迁移和实时抓取验证，通过参与ICRA 2022开放云机器人挑战赛（作者获得第三名）获得的洞见，展示了在杂乱环境中的更强鲁棒性。

ABSTRACT

Table-top Rearrangement and Planning is a challenging problem that relies heavily on an excellent perception stack. The perception stack involves observing and registering the 3D scene on the table, detecting what objects are on the table, and how to manipulate them. Consequently, it greatly influences the system's task-planning and motion-planning stacks that follow. We present a comprehensive overview and discuss the different challenges associated with the perception module. This work is a result of our extensive involvement in the ICRA 2022 Open Cloud Robot Table Organization Challenge, in which we stood third in the final rankings.

研究动机与目标

• 解决桌面机器人重排系统感知模块中的关键挑战。
• 提升对多样化、现实世界家庭物品的未知物体检测与六维姿态估计的鲁棒性。
• 在杂乱、动态场景中开发可靠的抓取分配与验证机制。
• 提升感知流程在已知物体假设之外的泛化能力与可扩展性。
• 引导未来研究聚焦于结构感知的抓取排序与场景感知的操作规划。

提出的方法

• 使用基于ICP的配准技术进行多视角三维场景重建，构建桌面环境的密集全局点云。
• 在检测到的物体姿态基础上，对孤立物体点云应用以物体为中心的抓取提议网络（如Contact-GraspNet），并将其转移至场景中。
• 实施基于物体质心相对距离阈值的抓取分配逻辑，同时避免与邻近物体发生碰撞。
• 通过实时场景分割与投影匹配实现运行时抓取验证，以确认正确抓取物体。
• 利用场景上下文与物体几何特征，优先选择结构稳固且无碰撞的抓取姿态。
• 提出一种基于强化学习的抓取排序方法，综合考虑物体形状、朝向与场景约束。

实验结果

研究问题

• RQ1 在杂乱的多物体场景中，如何可靠地将抓取提议分配给单个物体？
• RQ2 现有抓取提议网络在应用于不规则或大规模场景点云时存在哪些局限性？
• RQ3 如何实现实时抓取验证，以确保在邻近存在相似物体时仍能正确抓取？
• RQ4 通过整合物体结构与场景上下文，抓取选择可提升到何种程度？
• RQ5 在现实环境中将感知流程扩展至未知类别物体时，面临的主要挑战是什么？

主要发现

• 以物体为中心的抓取提议迁移显著提升了抓取分配的准确性，确保了提议正确映射到对应物体。
• 基于质心距离的朴素抓取分配方法常因邻近物体的干扰而失效，凸显了上下文感知选择的必要性。
• 通过分割与投影匹配实现的运行时抓取验证，有效减少了杂乱环境中错误抓取物体的情况。
• 现有抓取提议网络（如Contact-GraspNet）本身不考虑物体结构，导致对钳子或瓶子等工具类物体产生次优抓取姿态。
• 对未知类别物体的泛化能力不足仍是主要瓶颈，尤其对可变形或不规则形状的物品更为明显。
• 基于结构与上下文感知的抓取排序是一种有前景但尚未充分探索的方向，亟需进一步研究。