[论文解读] Learning Task-Oriented Grasping for Tool Manipulation from Simulated Self-Supervision

Kuan Fang, Yuke Zhu+5 more|arXiv (Cornell University)|Jun 25, 2018

Robot Manipulation and Learning参考文献 43被引用 13

一句话总结

该论文提出任务导向抓取网络（TOG-Net），一种利用大规模模拟自监督训练的深度学习模型，联合优化任务导向抓取与操作策略。TOG-Net 在物理模拟器中基于程序化生成的 3D 工具进行训练，实现在未见过的工具上进行真实世界清扫任务的成功率为 71.1%，锤击任务的成功率为 80.0%，显著优于仅关注鲁棒性的任务无关基线方法，因其学习到的抓取方式更契合特定任务目标。

ABSTRACT

Tool manipulation is vital for facilitating robots to complete challenging task goals. It requires reasoning about the desired effect of the task and thus properly grasping and manipulating the tool to achieve the task. Task-agnostic grasping optimizes for grasp robustness while ignoring crucial task-specific constraints. In this paper, we propose the Task-Oriented Grasping Network (TOG-Net) to jointly optimize both task-oriented grasping of a tool and the manipulation policy for that tool. The training process of the model is based on large-scale simulated self-supervision with procedurally generated tool objects. We perform both simulated and real-world experiments on two tool-based manipulation tasks: sweeping and hammering. Our model achieves overall 71.1% task success rate for sweeping and 80.0% task success rate for hammering. Supplementary material is available at: bit.ly/task-oriented-grasp

研究动机与目标

• 为解决任务无关抓取方法仅关注鲁棒性而忽视任务特定效用的局限性，通过联合优化抓取与操作策略以最大化任务成功率。
• 实现在仿真环境与真实世界中对新型工具的泛化能力，无需人工设计特征或预定义功能特性。
• 通过利用物理模拟器生成数百万次自监督抓取与操作试验，实现大规模数据收集以支持深度学习。
• 通过端到端训练统一模型，直接基于任务规划结果选择抓取方式与动作，实现对任务成功率的直接优化。
• 证明任务导向抓取（如手持锤子手柄或用工具头部扫地）相比仅优化鲁棒性的抓取方式，能带来更高的任务成功率。

提出的方法

• TOG-Net 是一个联合模型，包含任务导向抓取模块与操作策略，两者均基于对工具与任务目标的视觉观测进行条件控制。
• 抓取模块根据预测的任务成功率对多个候选抓取方式进行评分，并选择得分最高的抓取方式执行。
• 操作策略基于选定的抓取方式生成控制动作，从而实现任务执行。
• 大规模自监督信号通过实时物理模拟器生成，机器人在其中自主执行带有程序化生成 3D 工具的抓取与操作试验。
• 训练数据通过任务成功或失败自动标注，实现无需人工标注的端到端学习。
• 模型通过强化学习或模仿学习联合训练，使用源自任务完成情况的自监督奖励信号。

实验结果

研究问题

• RQ1 单一深度学习模型能否联合优化任务导向抓取与操作策略，以最大化任务成功率？
• RQ2 使用程序化生成工具的模拟自监督方法，在真实世界环境中实现对新型未见工具的泛化能力有多强？
• RQ3 基于任务特定目标引导的任务导向抓取，是否比仅关注抓取鲁棒性的任务无关抓取带来更高的任务成功率？
• RQ4 不同工具几何形状（T 形、L 形、其他）如何影响任务导向抓取模型的性能？
• RQ5 在仿真环境中训练的模型能否在无需微调的情况下，仅依赖视觉输入与自监督反馈，泛化到真实世界工具操作？

主要发现

• TOG-Net 在使用 9 种未见过的工具进行真实世界清扫任务时，实现了 71.1% 的任务成功率，显著优于任务无关方法。
• 在锤击任务中，模型在未见过的工具上实现了 80.0% 的成功率，表明其在多种工具形状下均具备强大泛化能力。
• 在仿真环境中，该模型优于基线方法，而任务无关抓取方式（如靠近质心处抓取）在任务执行中往往表现不佳。
• 模型学会在锤击任务中从手柄远端抓取以最大化力矩，而在扫地任务中在平坦表面抓取以最大化接触面积。
• 在 T 形工具上，模型在清扫任务中达到 73.3% 的成功率，在锤击任务中达到 86.7%，显示出在几何结构简单的工具上表现优异。
• 对于锅具等非标准形状的物体，模型在清扫任务中实现 60.0% 的成功率，在锤击任务中达到 66.7%，表明其对非标准工具形状具有良好的适应能力。