[论文解读] KETO: Learning Keypoint Representations for Tool Manipulation

Zengyi Qin, Kuan Fang+3 more|arXiv (Cornell University)|Oct 26, 2019

Robot Manipulation and Learning参考文献 58被引用 10

一句话总结

Keto 提出了一种自监督框架，从 3D 点云中学习工具的任务特定关键点表征，实现高效且可解释的机器人操作，而无需人工标注的关键点。该方法通过深度学习从机器人交互数据中联合预测抓取点、功能点和作用点，在三个工具使用任务——敲打、推动和抓取——中，其任务成功率均优于端到端和硬编码基线方法。

ABSTRACT

We aim to develop an algorithm for robots to manipulate novel objects as tools for completing different task goals. An efficient and informative representation would facilitate the effectiveness and generalization of such algorithms. For this purpose, we present KETO, a framework of learning keypoint representations of tool-based manipulation. For each task, a set of task-specific keypoints is jointly predicted from 3D point clouds of the tool object by a deep neural network. These keypoints offer a concise and informative description of the object to determine grasps and subsequent manipulation actions. The model is learned from self-supervised robot interactions in the task environment without the need for explicit human annotations. We evaluate our framework in three manipulation tasks with tool use. Our model consistently outperforms state-of-the-art methods in terms of task success rates. Qualitative results of keypoint prediction and tool generation are shown to visualize the learned representations.

研究动机与目标

• 开发一种紧凑、可解释且可泛化的工具操作表征，以支持有效的机器人控制。
• 通过自监督机器人交互学习关键点表征，消除对昂贵人工标注 3D 关键点的依赖。
• 通过联合关键点预测框架，提升在接触丰富的工具操作任务中的泛化能力和性能。
• 通过将预测的关键点作为骨架，实现逆向工具生成，以组合出新颖的工具形状。
• 在仿真和真实世界环境中均证明关键点表征的有效性。

提出的方法

• 一种任务特定的关键点生成网络，从工具对象的 3D 点云观测中联合预测抓取点、功能点和作用点。
• 关键点预测通过在任务环境中进行自监督的试错交互进行训练，无需人工标注的真实标签。
• 该框架使用动作优化器，基于预测的工具和环境关键点生成抓取和操作轨迹。
• 可微分的评估网络通过优化物体部件姿态以最大化对预测关键点配置的置信度，实现逆向工具生成。
• 模型仅在合成数据上进行训练，并利用来自 Kinect 相机的 RGB-D 观测，成功泛化到真实世界部署。
• 对随机选择的物体部件的位姿参数（平移和旋转）应用梯度上升，以通过关键点组合生成最优工具形状。

实验结果

研究问题

• RQ1 能否通过机器人交互的自监督学习，生成有效且可解释的工具操作关键点表征？
• RQ2 与单独预测关键点相比，联合关键点预测框架在操作性能方面表现如何？
• RQ3 在仅用某一类工具（如锤子）进行训练的情况下，模型在未见工具类别（如非锤子类工具）上的泛化能力如何？
• RQ4 学习到的关键点表征能否支持从随机部件中逆向生成新颖且功能完整的工具？
• RQ5 与端到端视觉-运动策略相比，使用关键点表征是否能提高任务成功率？

主要发现

• Keto 在所有三项任务（敲打、推动和抓取）中，任务成功率均显著高于端到端深度强化学习和硬编码关键点基线方法。
• 模型在未见工具类别上泛化良好，即使仅在锤子上进行训练，对非锤子类工具也表现出强劲性能。
• 定性结果表明，预测的关键点具有语义意义，并能适应不规则的工具形状，包括通过 RGB-D 相机捕获的真实世界物体。
• 该框架支持逆向工具生成：给定关键点和随机部件，模型通过部件位姿的梯度优化，合成出合理且功能完整的工具形状。
• 模型能有效从仿真迁移到真实世界部署，仅使用合成数据训练即展现出对领域偏移的鲁棒性。
• 与单独关键点预测相比，联合关键点预测显著提升了预测质量及下游任务性能。