[논문 리뷰] Grasp2Vec: Learning Object Representations from Self-Supervised Grasping

Eric Jang, Coline Devin외 2명|arXiv (Cornell University)|2018. 11. 16.

Robot Manipulation and Learning참고 문헌 28인용 수 74

한 줄 요약

Grasp2Vec는 로봇 그립의 자기 감독 학습으로 객체 중심 임베딩을 학습하며, 그립 후의 장면 차이가 그립된 객체의 임베딩과 같아지도록 강제함으로써 라벨 없이도 위치 추정, 인스턴스 탐지, 목표 조건부 그립을 가능하게 한다.

ABSTRACT

Well structured visual representations can make robot learning faster and can improve generalization. In this paper, we study how we can acquire effective object-centric representations for robotic manipulation tasks without human labeling by using autonomous robot interaction with the environment. Such representation learning methods can benefit from continuous refinement of the representation as the robot collects more experience, allowing them to scale effectively without human intervention. Our representation learning approach is based on object persistence: when a robot removes an object from a scene, the representation of that scene should change according to the features of the object that was removed. We formulate an arithmetic relationship between feature vectors from this observation, and use it to learn a representation of scenes and objects that can then be used to identify object instances, localize them in the scene, and perform goal-directed grasping tasks where the robot must retrieve commanded objects from a bin. The same grasping procedure can also be used to automatically collect training data for our method, by recording images of scenes, grasping and removing an object, and recording the outcome. Our experiments demonstrate that this self-supervised approach for tasked grasping substantially outperforms direct reinforcement learning from images and prior representation learning methods.

연구 동기 및 목표

• 로봇 조작을 위한 객체 중심의 장면 표현의 자동적이고 자기 감독 학습을 촉진한다.

제안 방법

• ResNet-50 기반 CNN으로 장면과 그립된 물체를 임베딩하여 phi_s와 phi_o 임베딩을 생성한다.
• 물체의 정체성과 지속성을 포착하기 위해 산술 제약식 phi_s(s_pre) - phi_s(s_post) ≈ phi_o(o)를 적용한다.
• 씬 차이 임베딩과 물체 임베딩을 정렬하고 음수를 구분하기 위해 n-pairs 손실로 학습한다.
• 학습된 Grasp2Vec 임베딩을 사용하여 공간 히트맵으로 물체를 위치 추정하고 Q-러닝을 통해 목표 지향적 그립 정책을 조건화한다.
• 학습 데이터는 그립 에피소드 (s_pre, s_post, o)를 통해 자율적으로 수집된다.

실험 결과

연구 질문

• RQ1 그립에서 학습된 자기 감독 임베딩이 장면의 물체 정체성과 물체 집합을 포착할 수 있는가?
• RQ2 Grasp2Vec 임베딩이 라벨 데이터 없이 물체 인스턴스를 위치 추정하고 구분할 수 있는가?
• RQ3 수동 주석 없이 Grasp2Vec 임베딩에서 얻은 보상으로 목표 조건부 그립 정책을 학습할 수 있는가?
• RQ4 시뮬레이션과 실제 세계 모두에서 Grasp2Vec가 보지 못한 물체에 얼마나 잘 일반화되는가?

주요 결과

Method	sim seen	sim novel	real seen	real novel
Retrieval (ours)	88%	64%	89%	88%
Outcome Neighbor (ImageNet)	—	—	23%	22%
Localization (ours)	96%	77%	83%	81%
Localization (ImageNet)	—	—	18%	15%

• Grasp2Vec 검색 정확도: 88% (sim seen), 64% (sim novel), 89% (real seen), 88% (real novel).
• Grasp2Vec 위치 추정 정확도: 96% (sim seen), 77% (sim novel), 83% (real seen), 81% (real novel).
• ImageNet 특징으로의 위치 추정은 같은 작업에 대해 현저히 낮은 성능을 보인다(15-18% 범위).
• 시뮬레이션에서 Grasp2Vec 기반 ES 보상으로의 인스턴스 그립은 seen 물체에서 78-83%, unseen에서 53-59%에 도달한다( ablations에 따라).
• 현실 세계에서 위치 추정과 무차별 그립을 이용한 인스턴스 그립은 학습 물체에서 80.8%, 테스트 물체에서 62.9%를 달성했다.
• 그룹 합산 Grasp2Vec 임베딩을 통한 복합 목표는 시뮬레이션에서 일부 다물체 목표 동작을 가능하게 한다(예: 특정 복합 목표에서 seen 51.9%, unseen 42.9%).