[论文解读] High-level Reasoning and Low-level Learning for Grasping: A Probabilistic Logic Pipeline

Laura Antanas, Plínio Moreno+5 more|arXiv (Cornell University)|Nov 4, 2014

Robot Manipulation and Learning参考文献 50被引用 6

一句话总结

本文提出了一种概率逻辑流水线，将高层符号推理与低层视觉学习相结合，用于任务相关的机器人抓取。通过利用物体-任务本体和功能特性，系统在学习局部形状特征以预测精确抓取点之前，先对最优可抓取部件进行推理，与直接的视觉到抓取映射方法相比，显著提升了在新型物体和任务上的鲁棒性和泛化能力。

ABSTRACT

While grasps must satisfy the grasping stability criteria, good grasps depend on the specific manipulation scenario: the object, its properties and functionalities, as well as the task and grasp constraints. In this paper, we consider such information for robot grasping by leveraging manifolds and symbolic object parts. Specifically, we introduce a new probabilistic logic module to first semantically reason about pre-grasp configurations with respect to the intended tasks. Further, a mapping is learned from part-related visual features to good grasping points. The probabilistic logic module makes use of object-task affordances and object/task ontologies to encode rules that generalize over similar object parts and object/task categories. The use of probabilistic logic for task-dependent grasping contrasts with current approaches that usually learn direct mappings from visual perceptions to task-dependent grasping points. We show the benefits of the full probabilistic logic pipeline experimentally and on a real robot.

研究动机与目标

• 通过整合高层世界知识与低层视觉感知，解决任务相关机器人抓取的挑战。
• 通过引入中间概率逻辑模块，对可抓取物体部件进行语义推理，克服直接视觉到抓取映射的局限性。
• 通过符号化部件表示和本体知识，实现在新型物体和任务间的泛化能力。
• 通过结合概率推理与世界知识，提升在不确定性及信息缺失情况下的抓取鲁棒性。
• 在真实机器人硬件上，针对不同任务复杂度和物体类别，验证该流水线的有效性。

提出的方法

• 使用基于视觉的技术从点云中提取符号化物体部件（例如：顶部、把手、中部），并利用k近邻图进行标注。
• 应用基于流形的图核来估计物体类别相似性，并推断物体类别的先验概率（例如：杯子、易拉罐、锅）。
• 采用概率逻辑模块，编码物体-任务功能特性与本体知识，以推理最可能的物体类别、任务类型以及最优预抓取部件。
• 将任务约束（例如：倒液、抓取-放置）和世界知识（例如：满的物体无法倒液）整合到逻辑模块中，以优化抓取预测。
• 在部件特定的视觉特征上训练基于局部形状的抓取模型，以预测预抓取区域内的最佳抓取点。
• 将逻辑模块的输出（最优预抓取部件）与局部形状模型结合，生成最终的、任务感知的抓取点预测。

实验结果

研究问题

• RQ1 与直接的视觉到抓取映射相比，一种基于符号推理物体部件和任务的概率逻辑流水线是否能提升抓取成功率？
• RQ2 整合物体-任务本体和功能特性在多大程度上增强了对新型物体和任务类别的泛化能力？
• RQ3 任务相关推理在多大程度上减少了抓取点的搜索空间，并提升了在视觉不确定性下的鲁棒性？
• RQ4 当物体类别信息缺失或存在噪声时，该流水线的性能如何？是否仍能生成可靠的抓取预测？
• RQ5 任务约束对选择视觉抓取能力评分较低但任务成功概率较高的抓取点有何影响？

主要发现

• 在S_GRASP_noisy数据集上，完整的概率逻辑流水线在视觉可抓取概率低于0.5的抓取点上实现了52.38%的成功率，优于基于局部形状的基线方法（44.55%）。
• 当移除物体类别先验（Pipeline uniform）时，系统在低可抓取性点上仍达到50%的成功率，表明其对类别信息缺失具有鲁棒性。
• 在S_ROBOT数据集上，流水线在简单场景（scenario1）中实现了77.8%的抓取成功率，在中等复杂度场景（scenario2）中为70%，在复杂多物体场景（scenario3）中为50%，复杂度增加导致性能下降约20%。
• 与基于局部形状的模型相比，该流水线更倾向于选择视觉可抓取性较低（例如：<0.3）但仍能成功抓取的抓取点，证实了任务约束在抓取概率估计中的重要性。
• 通过本体和功能特性整合世界知识，显著提升了抓取预测的准确性，尤其在视觉线索模糊或不完整时表现更优。
• 在任务、预抓取和抓取点预测等数据扰动下，系统表现出一致的性能变化，凸显了类别信息和任务信息在流水线推理中的关键作用。