[논문 리뷰] Dex-Net 2.0: Deep Learning to Plan Robust Grasps with Synthetic Point Clouds and Analytic Grasp Metrics

Jeffrey Mahler, Jacky Liang외 6명|arXiv (Cornell University)|2017. 03. 27.

Robot Manipulation and Learning참고 문헌 2인용 수 276

한 줄 요약

Dex-Net 2.0은 6.7 million synthetic depth images와 analytic grasp metrics로 Grasp Quality CNN을 훈련시켜 빠르게 강건한 그랩을 예측하고, 실제 로봇에서 빠르고 고정밀 로봇 그랩을 가능하게 한다.

ABSTRACT

To reduce data collection time for deep learning of robust robotic grasp plans, we explore training from a synthetic dataset of 6.7 million point clouds, grasps, and analytic grasp metrics generated from thousands of 3D models from Dex-Net 1.0 in randomized poses on a table. We use the resulting dataset, Dex-Net 2.0, to train a Grasp Quality Convolutional Neural Network (GQ-CNN) model that rapidly predicts the probability of success of grasps from depth images, where grasps are specified as the planar position, angle, and depth of a gripper relative to an RGB-D sensor. Experiments with over 1,000 trials on an ABB YuMi comparing grasp planning methods on singulated objects suggest that a GQ-CNN trained with only synthetic data from Dex-Net 2.0 can be used to plan grasps in 0.8sec with a success rate of 93% on eight known objects with adversarial geometry and is 3x faster than registering point clouds to a precomputed dataset of objects and indexing grasps. The Dex-Net 2.0 grasp planner also has the highest success rate on a dataset of 10 novel rigid objects and achieves 99% precision (one false positive out of 69 grasps classified as robust) on a dataset of 40 novel household objects, some of which are articulated or deformable. Code, datasets, videos, and supplementary material are available at http://berkeleyautomation.github.io/dex-net .

연구 동기 및 목표

• sensing 및 actuation 불확실성 하에서 강건한 그랩 계획의 타당성을 제시한다.
• 그랩 강건성 모델을 훈련시키기 위해 합성 데이터를 사용하여 데이터 수집 시간을 줄인다.
• 명시적 물체 모델에 의존하기보다는 깊이 이미지에서 직접 그랩 성공 여부를 예측한다.
• 강건한 그랩 계획을 위한 합성 데이터에 레이블을 지정하기 위해 해석적 그랩 메트릭을 활용한다.
• 실제 로봇 실험과 새로운 물체에서 훈련된 계획자의 성능을 평가한다.

제안 방법

• 1,500개의 3D 물체 모델과 대향점 대칭 평행 턱 그랩 및 강건한 해석적 메트릭을 결합하여 Dex-Net 2.0의 6.7 million-point cloud 데이터셋을 생성한다.
• 깊이 이미지 입력으로부터 그랩 강건성 Q(u,y)를 추정하도록 Grasp Quality Convolutional Neural Network (GQ-CNN)를 훈련시킨다.
• 그랩을 카메라에 대한 평면 포즈와 깊이로 표현하고 학습을 단순화하기 위해 깊이 이미지를 그랩 중심/방향에 맞춘다.
• 물체 포즈, 그리퍼 포즈, 마찰을 몬테카를로 샘플링하여 각 후보 그랩에 대해 강건한 epsilon 품질 E_Q를 계산한다.
• 대향점 후보를 샘플링하고 예측된 강건성으로 순위를 매긴 후 상위 가능한 그랩을 실행하여 그랩을 계획한다.
• 실제 로봇 실험에서 성능을 평가하고 이미지 기반 메트릭, 랜덤 포레스트, SVM, 등록 기반 접근법과 비교한다.

실험 결과

연구 질문

• RQ1 합성 데이터에서만 학습된 CNN이 깊이 이미지로부터 강건한 그랩을 예측할 수 있는가?
• RQ2 합성 데이터로 학습된 그랩 플래너가 알려진 물체와 새로운 물체에서 인식+등록 기법을 기반으로 하는 기준선과 어떻게 비교되는가?
• RQ3 학습 데이터 크기와 노이즈 모델링이 그랩 강건성 분류 및 계획 성능에 어떤 영향을 미치는가?
• RQ4 실제 로봇에서 빠른 depth-image 기반 그랩 플래너로 높은 성공률과 정밀도를 달성하는 것이 가능한가?

주요 결과

• Dex-Net 2.0 플래너는 0.8초의 계획 시간과 악의적 기하학을 가진 여덟 개의 알려진 물체에서 93%의 성공률을 달성한다.
• Dex-Net 2.0 계획은 미리 계산된 데이터베이스에 매칭하는 등록 기반 접근법보다 대략 3배 빠르다.
• 새로운 강체 물체 10개 데이터셋에서 Dex-Net 2.0 플래너가 평가된 방법 중 가장 높은 성공률을 보인다.
• 40개의 새로운 가정용 물체 데이터셋에서 플래너는 99%의 정밀도를 달성한다(69개의 강건한 분류 중 한 개의 양성 오탐).
• 합성 데이터로만 학습된 GQ-CNN은 보고된 실험에서 IGQ, REG, ML-RF, ML-SVM 등 여러 기준선보다 새로운 물체에 대해 일반화한다.