[论文解读] Global Search with Bernoulli Alternation Kernel for Task-oriented Grasping Informed by Simulation

Rika Antonova, Mia Kokić+2 more|arXiv (Cornell University)|Oct 10, 2018

Robot Manipulation and Learning参考文献 31被引用 10

一句话总结

本文提出了一种伯努利交替核（Bernoulli Alternation Kernel）用于贝叶斯优化，通过在有信息（基于仿真）和无信息（标准）核之间交替，实现针对任务导向抓取的样本高效、鲁棒的在线学习。通过利用在合成数据上训练的深度神经网络预测抓取稳定性与任务适用性，该方法即使在仿真-现实差距和物理属性高不确定性的情况下，也能成功识别新型真实物体的有效抓取，仅在少数（少于5次）尝试内完成对刮刀和马克杯等复杂物体的成功抓取。

ABSTRACT

We develop an approach that benefits from large simulated datasets and takes full advantage of the limited online data that is most relevant. We propose a variant of Bayesian optimization that alternates between using informed and uninformed kernels. With this Bernoulli Alternation Kernel we ensure that discrepancies between simulation and reality do not hinder adapting robot control policies online. The proposed approach is applied to a challenging real-world problem of task-oriented grasping with novel objects. Our further contribution is a neural network architecture and training pipeline that use experience from grasping objects in simulation to learn grasp stability scores. We learn task scores from a labeled dataset with a convolutional network, which is used to construct an informed kernel for our variant of Bayesian optimization. Experiments on an ABB Yumi robot with real sensor data demonstrate success of our approach, despite the challenge of fulfilling task requirements and high uncertainty over physical properties of objects.

研究动机与目标

• 为解决机器人策略学习中高仿真-现实差异的挑战，特别是针对新型物体的任务导向抓取问题。
• 通过在不假设高保真仿真器的前提下整合基于仿真的先验知识，提升在线机器人学习的样本效率。
• 开发一种鲁棒的优化框架，在非平滑、噪声较大的真实世界代价函数下仍能平衡探索与利用。
• 利用视觉输入和从合成数据中学习的任务特定得分，实现实时、数据高效的抓取策略自适应。
• 在真实 ABB Yumi 机器人上验证该方法，应对物体物理属性高度不确定的场景。

提出的方法

• 伯努利交替核在贝叶斯优化中交替使用有信息（基于仿真）和无信息（标准）核，以降低对仿真-现实差异的敏感性。
• 在大规模合成数据上训练卷积神经网络，从原始 RGB-D 观测和物体网格中预测抓取稳定性和任务适用性得分。
• 网络输出的任务导向抓取得分用于构建有信息核，用于贝叶斯优化，引导搜索向有希望的抓取配置方向进行。
• 该方法使用视觉流水线从点云生成三维网格，并在物体表面采样抓取候选点，基于任务特定标准过滤低分点。
• 结合交替核的贝叶斯优化在抓取参数（接近方向、姿态、偏移量）上执行在线搜索，利用真实世界反馈优化策略。
• 采集函数平衡探索与利用，初始尝试由多个稳定性度量的最优候选点引导，以避免陷入较差的起始点。

实验结果

研究问题

• RQ1 能否通过在有信息核与无信息核之间交替的混合贝叶斯优化框架，有效减轻仿真-现实差异对机器人策略学习的影响？
• RQ2 在不依赖高保真仿真器的前提下，如何利用仿真生成的数据引导任务导向抓取的在线学习？
• RQ3 在合成数据上训练的深度神经网络在多大程度上能预测新型真实物体的合适抓取配置？
• RQ4 即使在前10名离线候选方案全部失败的情况下，该方法是否仍能在少于10次真实世界尝试内实现成功任务导向抓取？
• RQ5 在物体物理属性高度不确定和机器人运动学受限的条件下，该方法表现如何？

主要发现

• 伯努利交替核在诸如刮刀和马克杯等具有挑战性的现实物体上实现了成功任务导向抓取，即使前10名离线候选方案全部失败，仍可在仅4次尝试内达成成功。
• 在马克杯传递任务中，方法在第4次尝试时成功，其抓取方案并非前10名稳定或任务适用性最高的候选，证明了其能有效探索静态启发式方法无法覆盖的区域。
• 在煎锅支撑任务中，方法在第5次尝试时成功，而前10名离线方法因打滑或倾斜失败，凸显了动态、反馈驱动搜索的优势。
• 在15次运行中实现了多次成功抓取，包括6次完整的10次尝试运行和9次在5次尝试后提前终止的部分运行，表明其具有极强的样本效率。
• 该方法成功避免了因小物体附近碰撞提议导致的规划失败，但刀具、笔和螺丝刀任务中仍因接近约束导致此类失败。
• 与仅依赖离线抓取候选或标准贝叶斯优化相比，使用仿真引导的核显著提升了收敛速度和成功率。