[論文レビュー] Learning to Grasp from a Single Demonstration

Pieter Van Molle, Tim Verbelen+4 more|ArXiv.org|Jun 9, 2018

Robot Manipulation and Learning参考文献 17被引用数 10

ひとこと要約

本論文では、視覚フィードバックを用いて1回のデモからロボットの grasping を可能にする畳み込みニューラルネットワークであるGraspNetを提案する。データ拡張とReptileによるメタラーニングを活用することで、わずか数百回の学習イテレーションで高い grasping 成功率を達成し、物体の位置がずれても頑健な grasping を実現する。

ABSTRACT

Learning-based approaches for robotic grasping using visual sensors typically require collecting a large size dataset, either manually labeled or by many trial and errors of a robotic manipulator in the real or simulated world. We propose a simpler learning-from-demonstration approach that is able to detect the object to grasp from merely a single demonstration using a convolutional neural network we call GraspNet. In order to increase robustness and decrease the training time even further, we leverage data from previous demonstrations to quickly fine-tune a GrapNet for each new demonstration. We present some preliminary results on a grasping experiment with the Franka Panda cobot for which we can train a GraspNet with only hundreds of train iterations.

研究の動機と目的

• 物体がデモ時と正確に同じ位置にない場合に失敗する現在のコボットプログラミングワークフローの制限を解消すること。
• 1回のデモのみを用いて、物体の位置ずれに対しても頑健なロボット grasping を可能にすること。
• メタラーニングと過去のデモデータを活用することで、学習時間とデータ要件を削減すること。
• 既存のプログラミング・バイ・デモワークフローにスムーズに統合できるようにすること。
• 視覚フィードバックを用いてリアルタイムで適応する閉ループ grasping コントローラーを開発すること。

提案手法

• ロボットのエンドエフェクタに取り付けられたトップダウンカメラから、成功した grasping の際の1枚のデモ画像を収集する。
• 畳み込みニューラルネットワーク（GraspNet）を訓練し、1枚の画像パッチから grasping 成功を予測する。
• データ拡張技術を適用して、1つの例からの一般化能力と頑健性を向上させる。
• 以前のデモデータを用いてメタラーニング（Reptile）による微調整を実施し、収束を高速化する。
• GraspNetの予測を活用して、リアルタイムでグリッパーの動きを調整する閉ループコントローラーを実装する。
• 複数のカメラアングル（例：10°の回転）でのバッチ推論を用いて、方向に対する頑健性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 1枚の視覚的デモから、高精度で物体を検出し、掴めるようなディープラーニングモデルを訓練できるか？
• RQ2 メタラーニング（Reptile）は、最小限のデータで新しい物体の grasping ポリシーを微調整する際に、どの程度効果的か？
• RQ3 データ拡張と複数デモの微調整によって、物体の位置ずれに対する一般化能力と頑健性がどの程度向上するか？
• RQ4 提案手法は、実時間で動作する閉ループ制御に統合可能か？ また、推論遅延が過剰に増加しないか？
• RQ5 1回のデモ学習の性能は、複数デモの微調整とメタラーニングのアプローチと比べてどの程度か？

主な発見

• GraspNetは、複数デモの微調整を用いた場合、ブロック1で最大0.999 ± 0.001のテスト精度を達成し、1回デモ学習よりも顕著に優れた性能を示した。
• Reptileメタラーニングは、複数デモの微調整と同等またはそれ以上の性能を達成したが、学習イテレーション数はごくわずかに抑えられた。
• ブロック10では、Reptileが0.993 ± 0.002の精度を達成し、1回デモ学習（0.927 ± 0.018）と複数デモ微調整（0.974 ± 0.022）を上回った。
• データ拡張と9つのカメラアングルでのマルチビュー推論を用いることで、物体の位置ずれに対する頑健性が確認された。
• 実環境実験では、回転に対しても成功した grasping 検出が確認されたが、推論遅延（約700ms）がリアルタイム制御性能を制限した。
• 本手法は、既存のプログラミング・バイ・デモワークフローに統合可能であり、非専門家が視覚フィードバックとわずかな物体シフトに対する頑健性を備えたコボットをプログラミング可能にした。