[论文解读] Learning to Grasp from a Single Demonstration

Pieter Van Molle, Tim Verbelen+4 more|ArXiv.org|Jun 9, 2018

Robot Manipulation and Learning参考文献 17被引用 10

一句话总结

本文提出 GraspNet，一种卷积神经网络，通过视觉反馈实现仅凭一次示范的机器人抓取。通过利用数据增强和基于 Reptile 的元学习，该模型仅需数百次训练迭代即可实现高抓取成功率，即使物体位置发生扰动也能实现稳健抓取。

ABSTRACT

Learning-based approaches for robotic grasping using visual sensors typically require collecting a large size dataset, either manually labeled or by many trial and errors of a robotic manipulator in the real or simulated world. We propose a simpler learning-from-demonstration approach that is able to detect the object to grasp from merely a single demonstration using a convolutional neural network we call GraspNet. In order to increase robustness and decrease the training time even further, we leverage data from previous demonstrations to quickly fine-tune a GrapNet for each new demonstration. We present some preliminary results on a grasping experiment with the Franka Panda cobot for which we can train a GraspNet with only hundreds of train iterations.

研究动机与目标

• 解决当前协作机器人编程工作流在物体未处于示范中精确位置时失效的局限性。
• 仅凭一次示范实现对物体位置扰动具有鲁棒性的机器人抓取。
• 通过元学习和先前示范的数据，减少训练时间和数据需求。
• 将该方法无缝集成到现有基于示范的协作机器人工作流中。
• 开发一种使用视觉反馈实现实时自适应的闭环抓取控制器。

提出的方法

• 在机器人末端执行器上安装的俯视摄像头捕捉一次成功抓取的示范图像。
• 训练卷积神经网络（GraspNet）从单张图像块预测抓取成功率。
• 应用数据增强技术以提高鲁棒性并从单个示例中泛化。
• 使用元学习（Reptile）对先前示范的数据进行微调，以加速收敛。
• 实现一种闭环控制器，利用 GraspNet 的预测实时调整夹爪运动。
• 通过多个相机角度（例如 10° 旋转）的批量推理，提升方向鲁棒性。

实验结果

研究问题

• RQ1 能否训练一个深度学习模型，仅凭一次视觉示范实现高精度的物体检测与抓取？
• RQ2 元学习（Reptile）在仅用极少数据微调新物体抓取策略时，其加速效果如何？
• RQ3 数据增强和多示范微调在多大程度上能提升泛化能力和对物体位置扰动的鲁棒性？
• RQ4 所提方法能否在真实协作机器人上实现实时闭环控制，且推理延迟不过高？
• RQ5 单次示范训练的性能与多示范微调及元学习方法相比如何？

主要发现

• 通过多示范微调，GraspNet 在 block 1 上的测试准确率最高达到 0.999 ± 0.001，显著优于单次示范训练。
• Reptile 元学习在仅需极少训练迭代的情况下，实现了与多示范微调相当或更优的性能。
• 对于 block 10，Reptile 达到 0.993 ± 0.002 的准确率，优于单次示范训练（0.927 ± 0.018）和多示范微调（0.974 ± 0.022）。
• 通过数据增强和在 9 个相机角度上的多视角推理，模型对物体位置扰动表现出鲁棒性。
• 真实世界实验表明，模型在旋转条件下仍能成功检测抓取，但推理延迟（约 700ms）限制了实时控制性能。
• 该方法可集成到现有基于示范的编程工作流中，使非专家用户能够借助视觉反馈和对微小物体位移的鲁棒性来编程协作机器人。