[논문 리뷰] Dex-Net 3.0: Computing Robust Robot Suction Grasp Targets in Point Clouds using a New Analytic Model and Deep Learning

Jeffrey Mahler, Matthew Matl외 4명|arXiv (Cornell University)|2017. 09. 19.

Robot Manipulation and Learning참고 문헌 27인용 수 53

한 줄 요약

이 논문은 280만 개의 포인트 클라우드와 그에 대한 흡착 잡기 내구성 레이블을 포함한 Dex-Net 3.0 데이터셋을 제안하고, GQ-CNN와 결합된 새로운 분석 모델을 통해 고품질의 흡착 잡기 예측을 위한 방법을 제시한다. 물리적 시험에서 기본 물체에 대해 98%의 성공률을 기록하였으며, 일반 물체에선 82%, 악성 물체에선 58%의 성공률을 기록했고, 악성 물체 전용 데이터로 훈련한 경우 성능이 81%로 향상되었다.

ABSTRACT

Vacuum-based end effectors are widely used in industry and are often preferred over parallel-jaw and multifinger grippers due to their ability to lift objects with a single point of contact. Suction grasp planners often target planar surfaces on point clouds near the estimated centroid of an object. In this paper, we propose a compliant suction contact model that computes the quality of the seal between the suction cup and local target surface and a measure of the ability of the suction grasp to resist an external gravity wrench. To characterize grasps, we estimate robustness to perturbations in end-effector and object pose, material properties, and external wrenches. We analyze grasps across 1,500 3D object models to generate Dex-Net 3.0, a dataset of 2.8 million point clouds, suction grasps, and grasp robustness labels. We use Dex-Net 3.0 to train a Grasp Quality Convolutional Neural Network (GQ-CNN) to classify robust suction targets in point clouds containing a single object. We evaluate the resulting system in 350 physical trials on an ABB YuMi fitted with a pneumatic suction gripper. When evaluated on novel objects that we categorize as Basic (prismatic or cylindrical), Typical (more complex geometry), and Adversarial (with few available suction-grasp points) Dex-Net 3.0 achieves success rates of 98$\%$, 82$\%$, and 58$\%$ respectively, improving to 81$\%$ in the latter case when the training set includes only adversarial objects. Code, datasets, and supplemental material can be found at this http URL .

연구 동기 및 목표

• 로봇 조작을 위한 3차원 포인트 클라우드에서의 흡착 잡기 품질 예측을 위한 내구성 있는 방법 개발.
• 특히 평면 또는 접근 가능한 표면이 적은 물체들에 대해 신뢰할 수 있는 흡착 잡기 타겟을 식별하는 데 도전하는 문제 해결.
• 훈련 및 평가를 위한 대규모 고품질의 280만 개의 포인트 클라우드와 그에 대한 잡기 내구성 레이블을 포함한 데이터셋 구축.
• 특화된 훈련 제도와 향상된 잡기 품질 예측 모델을 통해 복잡하고 악성 물체에 대한 일반화 능력 향상.

제안 방법

• 지역 표면 기하학과 진공 흡착 컵의 변형을 기반으로 밀착 품질과 외부 토크에 대한 저항을 추정하기 위해 탄성 있는 흡착 접촉 모델을 도입.
• 엔드이펙터 자세, 물체 자세, 재질 특성, 외부 힘 등의 변동에 대한 잡기 내구성 정량화.
• 단일 물체 포인트 클라우드에서 직접 내구적인 흡착 타겟을 분류하기 위해 Dex-Net 3.0 기반으로 Grasp Quality Convolutional Neural Network(GQ-CNN)을 훈련.
• Dex-Net 3.0 데이터셋은 1,500개의 3차원 물체 모델에서 유래하였으며, 시뮬레이션을 통해 합성된 포인트 클라우드와 잡기 내구성 레이블을 생성.
• 접촉 역학과 토크 저항을 시뮬레이션하는 분석 모델을 사용해 내구성 지표 계산.
• ABB YuMi 로봇에 공기 흡착 그립퍼를 장착한 상태에서 세 가지 물체 유형에 대해 총 350회의 실제 실험을 수행해 시스템 평가.

실험 결과

연구 질문

• RQ1 물리 기반 모델은 포인트 클라우드에서의 흡착 잡기 품질 예측에 어떻게 기여하는가?
• RQ2 훈련 데이터 구성은 어려운 물체 유형에 대한 일반화에 어떤 영향을 미치는가?
• RQ3 제안된 GQ-CNN은 실제 환경에서 새로운 복잡하고 악성 형태의 물체에 대해 어떻게 성능을 발휘하는가?
• RQ4 분석 모델과 딥러닝이 결합될 경우 얼마나 향상된 잡기 내구성 예측이 가능할까?
• RQ5 평면 또는 접근 가능한 표면이 적은 물체에 대해 어느 정도의 성공률을 달성할 수 있는가?

주요 결과

• 물리적 시험에서 기본 물체(기하학적으로 기둥형 또는 실린더형)에 대해 98%의 성공률 기록.
• 복잡한 기하학적 형태를 가진 일반 물체에선 성공률가 82%로 하락했지만, 중간 수준의 도전적인 형태에 대해서도 뛰어난 성능를 보여줌.
• 가장 적은 흡착 잡기 가능 지점이 존재하는 악성 물체에선 성공률이 58%였으며, 이는 훈련 데이터를 악성 물체 전용으로 제한했을 경우 81%로 향상됨.
• 악성 물체 전용 미세조정을 통한 성능 향상은 데이터 구성이 어려운 케이스에 대한 일반화에 큰 영향을 미친다는 것을 시사함.
• 새로운 분석 잡기 모델과 GQ-CNN의 조합은 다양한 물체 유형에 걸쳐 고정밀도의 잡기 예측을 가능하게 함.