[論文レビュー] Grasp2Vec: Learning Object Representations from Self-Supervised Grasping

Eric Jang, Coline Devin+2 more|arXiv (Cornell University)|Nov 16, 2018

Robot Manipulation and Learning参考文献 28被引用数 74

ひとこと要約

Grasp2Vec は、自己教師付きのロボット把持から物体中心の埋め込みを学習し、場面の差分が把握された物体の埋め込みに等しいことを課すことで、ラベルなしで局在化、インスタンス検出、および目標条件付き把握を可能にする。

ABSTRACT

Well structured visual representations can make robot learning faster and can improve generalization. In this paper, we study how we can acquire effective object-centric representations for robotic manipulation tasks without human labeling by using autonomous robot interaction with the environment. Such representation learning methods can benefit from continuous refinement of the representation as the robot collects more experience, allowing them to scale effectively without human intervention. Our representation learning approach is based on object persistence: when a robot removes an object from a scene, the representation of that scene should change according to the features of the object that was removed. We formulate an arithmetic relationship between feature vectors from this observation, and use it to learn a representation of scenes and objects that can then be used to identify object instances, localize them in the scene, and perform goal-directed grasping tasks where the robot must retrieve commanded objects from a bin. The same grasping procedure can also be used to automatically collect training data for our method, by recording images of scenes, grasping and removing an object, and recording the outcome. Our experiments demonstrate that this self-supervised approach for tasked grasping substantially outperforms direct reinforcement learning from images and prior representation learning methods.

研究の動機と目的

• ロボティック操作のための物体中心のシーン表現を自動かつ自己教師付きで学習することを促進する。

提案手法

• シーンと把握された物体を ResNet-50 に基づく CNN で埋め込み、phi_s と phi_o の埋め込みを生成する。
• 算術制約を課す: phi_s(s_pre) - phi_s(s_post) ≈ phi_o(o) を用いて物体の同一性と存続を捉える。
• n-pairs loss を用いてシーン差の埋め込みと物体埋め込みを一致させ、ネガティブを分離する。
• 学習済みの Grasp2Vec 埋め込みを用いて空間ヒートマップによる物体の局在化と、Q学習による目標指向の把握ポリシーの条件付けを行う。
• 訓練データは把持エピソード (s_pre, s_post, o) を通じて自律的に収集される。

実験結果

リサーチクエスチョン

• RQ1 把 grasping から学習した自己教師付き埋め込みは物体の同定と場の物体集合を捉えることができるか？
• RQ2 Grasp2Vec 埋め込みはラベルなしデータでも物体の局在化とインスタンス識別を可能にするか？
• RQ3 Grasp2Vec 埋め込みから得られる報酬で、手動アノテーションなしに目標指向の把握ポリシーを訓練できるか？
• RQ4 Grasp2Vec はシミュレーションと現実世界の未知の物体へどれだけ一般化できるか？

主な発見

方法	シミュレーション（見られた）	シミュレーション（新規）	実機（見られた）	実機（新規）
検索（私たちの手法）	88%	64%	89%	88%
アウトカム隣接（ImageNet）	—	—	23%	22%
局在化（私たちの手法）	96%	77%	83%	81%
局在化（ImageNet）	—	—	18%	15%

• Grasp2Vec の検索精度: 88% (sim seen), 64% (sim novel), 89% (real seen), 88% (real novel).
• Grasp2Vec の局在化精度: 96% (sim seen), 77% (sim novel), 83% (real seen), 81% (real novel).
• 同じタスクで ImageNet の特徴を用いた局在化は大幅に劣る（同じタスクで 15-18% 範囲）。
• シミュレーションでは Grasp2Vec ベースの ES 報酬を用いたインスタンス把持は seen object で 78-83%、unseen object で 53-59% に達する（アブレーションによる差異あり）。
• 現実世界のインスタンス把持は局在化 plus 無差別把持で、訓練オブジェクトで 80.8%、テストオブジェクトで 62.9%。
• Grasp2Vec 埋め込みの加法による複合目標は、シミュレーションである程度のマルチオブジェクト目標行動を可能にする（例: seen 51.9%、unseen 42.9% の特定の複合目標）。