[논문 리뷰] Dex-Net 3.0: Computing Robust Robot Vacuum Suction Grasp Targets in Point Clouds using a New Analytic Model and Deep Learning

Jeffrey Mahler, Matthew Matl외 4명|arXiv (Cornell University)|2017. 09. 19.

Robot Manipulation and LearningEngineering인용 수 18

한 줄 요약

이 논문은 3차원 점군에서 강건한 진공 흡착 잡이를 예측하기 위해 새로운 유연한 흡착 접촉 모델을 사용하는 딥러닝 프레임워크인 Dex-Net 3.0을 제안한다. 자세, 재질, 외부 교란에 대한 변형에 따른 밀봉 형성과 외력 저항을 모델링함으로써, GQ-CNN를 280만 개의 합성 흡착 잡이 데이터로 훈련시킨 결과, 실제 로봇 시험에서 기본 물체에 대해 98%의 성공률, 일반 물체에 대해 82%, 악성 물체에 대해 58%의 성공률을 달성하였다.

ABSTRACT

Vacuum-based end effectors are widely used in industry and are often preferred over parallel-jaw and multifinger grippers due to their ability to lift objects with a single point of contact. Suction grasp planners often target planar surfaces on point clouds near the estimated centroid of an object. In this paper, we propose a compliant suction contact model that computes the quality of the seal between the suction cup and local target surface and a measure of the ability of the suction grasp to resist an external gravity wrench. To characterize grasps, we estimate robustness to perturbations in end-effector and object pose, material properties, and external wrenches. We analyze grasps across 1,500 3D object models to generate Dex-Net 3.0, a dataset of 2.8 million point clouds, suction grasps, and grasp robustness labels. We use Dex-Net 3.0 to train a Grasp Quality Convolutional Neural Network (GQ-CNN) to classify robust suction targets in point clouds containing a single object. We evaluate the resulting system in 350 physical trials on an ABB YuMi fitted with a pneumatic suction gripper. When evaluated on novel objects that we categorize as Basic (prismatic or cylindrical), Typical (more complex geometry), and Adversarial (with few available suction-grasp points) Dex-Net 3.0 achieves success rates of 98$\%$, 82$\%$, and 58$\%$ respectively, improving to 81$\%$ in the latter case when the training set includes only adversarial objects. Code, datasets, and supplemental material can be found at http://berkeleyautomation.github.io/dex-net .

연구 동기 및 목표

• 산업용 로봇에서 복잡하고 비평면인 물체에 대한 강건한 흡착 잡이 계획의 부족을 해결하기 위해.
• 불확실성 하에서 자세, 마찰계수, 외력에 대한 밀봉 형성 가능성과 저항력을 평가하는 물리 기반 모델을 개발하기 위해.
• 훈련을 위해 280만 개의 점군과 함께 레이블이 부여된 흡착 강건성 정보를 포함하는 대규모 합성 데이터셋을 생성하기 위해.
• 실세계 점군에서 고품질의 흡착 잡이 타겟을 분류하는 GQ-CNN을 훈련하기 위해.
• 다양한 물체 유형, 특히 악성 기하학적 형태를 포함한 물체에 대해 물리적 로봇 시스템에서 방법을 검증하기 위해.

제안 방법

• 후보 잡이 지점에서 밀봉 형성 가능성을 테스트하기 위해, 둘레, 굽힘, 콘 스프링을 포함한 정적 스프링 모델을 사용하여 흡착 컵의 변형과 밀봉 형성 가능성을 시뮬레이션한다.
• 컵과 물체 표면 간의 접촉 고리에서 유도된 접촉 토크 기저를 사용하여 토크 저항을 계산한다.
• 물체 자세, 그립퍼 자세, 마찰 계수, 외력(예: 중력) 등의 변형에 대해 몬테카를로 샘플링을 통해 강건성을 평가한다.
• 랜덤으로 샘플된 외부 교란 토크가 변형된 상태에서 잡이가 저항하는지 여부에 기반하여 이항분포를 사용해 흡착 성공 확률을 모델링한다.
• 강건성 점수를 임계값 기반으로 이진 레이블을 생성하여, 예측된 타겟 중심에 위치한 흡착 미니처치가 포함된 합성 깊이 이미지로 GQ-CNN을 훈련시킨다.
• 깊이 이미지의 노이즈 모델을 사용한 오프스크린 렲팅과 자세 및 토크 불확실성에 대한 확률적 샘플링을 시스템이 사용한다.

실험 결과

연구 질문

• RQ1 물리 기반의 유연한 접촉 모델은 비평면 표면에서 흡착 컵이 밀봉을 형성할 수 있는지를 정확하게 예측할 수 있는가?
• RQ2 자세, 마찰, 외력에 대한 현실적인 불확실성 하에서 토크 저항 강건성을 어떻게 정량화할 수 있는가?
• RQ3 합성 데이터로 훈련된 딥러닝 모델은 다양한 기하학적 형태의 실세계 흡착 잡이에 대해 일반화 가능한가?
• RQ4 히우리스틱 방법과 학습된 강건한 잡이 정책 간의 성능 격차는 새로운 복잡하고 악성 형태의 물체에서 어떻게 나타나는가?
• RQ5 훈련 데이터에 악성 물체 데이터를 포함시키면 어려운 기하학적 형태로의 일반화가 향상되는가?

주요 결과

• 제안된 유연한 흡착 접촉 모델은 비평면 표면에서의 밀봉 형성 가능성을 성공적으로 예측하여, 단순 평면 히우리스틱을 넘는 강건한 잡이 계획을 가능하게 하였다.
• 실제 시험에서 기본 물체(기하학적 기둥형 또는 실린더형)에 대해 98%의 성공률을 기록하였으며, 이는 히우리스틱 방법보다 뚜렷이 뛰어난 성능을 보였다.
• 복잡한 기하학적 형태를 가진 일반 물체에 대해서는 82%의 성공률을 기록하여, 단순한 형태를 넘는 강력한 일반화 능력을 입증하였다.
• 가장 적은 흡착 가능 지점만을 가진 악성 물체에 대해서는 58%의 성공률을 기록하였으며, 훈련 데이터에 악성 물체만 포함된 경우 성공률이 81%로 향상되었다.
• Dex-Net 3.0으로 훈련된 GQ-CNN은 새로운 물체로의 일반화 능력이 뛰어나, 중심점이나 평면 표면을 목표로 하는 기준 히우리스틱보다 뛰어난 성능을 보였다.
• 강건성 레이블이 부여된 280만 개의 점군으로 구성된 합성 데이터셋은 실세계 로봇 흡착 잡이에 대한 효과적인 전이 학습을 가능하게 하였다.