[논문 리뷰] Grasp Proposal Networks: An End-to-End Solution for Visual Learning of Robotic Grasps

Chaozheng Wu, Chen, Jian외 5명|arXiv (Cornell University)|2020. 09. 26.

Robot Manipulation and Learning참고 문헌 33인용 수 5

한 줄 요약

이 논문은 3D 격자 기반의 그립 제안 모듈과 학습 가능한 앵커를 사용하여 단일 RGB 이미지에서 미리 보지 않은 물체에 대해 다양한 6-DOF 그립을 예측하는 엔드 투 엔드 딥 러닝 프레임워크인 그립 제안 네트워크(GPNet)를 제안한다. GPNet은 시뮬레이션과 실제 로봇 그립핑에서 최신 기술 수준의 성능을 달성하며, 6-DOF 그립넷과 GQCNN과 같은 이전 방법들보다 특히 그립 다양성과 실제 환경로의 일반화 능력에서 뛰어나다.

ABSTRACT

Learning robotic grasps from visual observations is a promising yet challenging task. Recent research shows its great potential by preparing and learning from large-scale synthetic datasets. For the popular, 6 degree-of-freedom (6-DOF) grasp setting of parallel-jaw gripper, most of existing methods take the strategy of heuristically sampling grasp candidates and then evaluating them using learned scoring functions. This strategy is limited in terms of the conflict between sampling efficiency and coverage of optimal grasps. To this end, we propose in this work a novel, end-to-end \emph{Grasp Proposal Network (GPNet)}, to predict a diverse set of 6-DOF grasps for an unseen object observed from a single and unknown camera view. GPNet builds on a key design of grasp proposal module that defines \emph{anchors of grasp centers} at discrete but regular 3D grid corners, which is flexible to support either more precise or more diverse grasp predictions. To test GPNet, we contribute a synthetic dataset of 6-DOF object grasps; evaluation is conducted using rule-based criteria, simulation test, and real test. Comparative results show the advantage of our methods over existing ones. Notably, GPNet gains better simulation results via the specified coverage, which helps achieve a ready translation in real test. We will make our dataset publicly available.

연구 동기 및 목표

• 유한한 샘플링으로 최적의 그립을 놓칠 위험과 계산 비용 증가를 초래하는 6-DOF 로봇 그립핑에서 히우리스틱 그립 샘플링의 한계를 해결한다.
• 기존 VAE 기반 방법에서 발생하는 모드 붕괴 문제를 해결하여 물체 중심 부근에 집중된 비다양한 그립 예측을 방지한다.
• 후처리 또는 히우리스틱 샘플링에 의존하지 않고 단일 뷰 RGB 이미지에서 직접 다양한 고품질 6-DOF 그립을 예측하는 엔드 투 엔드 학습 프레임워크를 개발한다.
• 개선된 그립 다양성과 커버리지로 도메인 간 차이를 최소화하여 합성 데이터에서 실제 로봇 시스템으로의 견고한 일반화를 가능하게 한다.
• 226개의 물체 모델을 기반으로 총 2,260만 개의 애너테이션된 그립을 포함하는 대규모 합성 6-DOF 그립 데이터셋을 기여하여 벤치마킹을 가능하게 한다.

제안 방법

• 정규적인 3D 격자 모서리에 그립 중심 앵커를 정의하는 그립 제안 모듈을 도입하여 예측의 다양성과 정밀도를 민첩하게 제어할 수 있도록 한다.
• 그립 제안 모듈 위에 세 개의 헤드를 스택한다: 반대편 그립 유효성 예측을 위한 헤드, 6-DOF 그립 회귀(위치 및 자세)를 위한 헤드, 신뢰도 점수 예측을 위한 헤드.
• 분류, 회귀, 신뢰도 예측을 통합한 다중 작업 손실을 사용하여 엔드 투 엔드로 네트워크를 훈련시켜 그립 품질과 다양성 최적화를 이룬다.
• 3D 제안 격자의 공간 해상도와 범위를 조절하여 그립 다양성을 제어한다—넓거나 희소한 격자는 다양성을 증진시키고, 더 조밀한 격자는 정밀도를 향상시킨다.
• CAD 모델과 물리 시뮬레이션을 통해 생성된 합성 데이터를 활용하여 다양한 물체 인스턴스를 포함한 대규모 데이터셋으로 네트워크를 훈련시킨다.
• 가능성이 높은 3D 공간 영역에 집중할 수 있도록 하면서도 물체의 전체 그립 가능한 표면을 커버하기 위해 유연하고 학습 가능한 앵커 메커니즘을 활용한다.

실험 결과

연구 질문

• RQ1 히우리스틱 샘플링 및 점수 기반 파ipeline에 비해 엔드 투 엔드 딥 러닝 모델이 6-DOF 로봇 그립핑 예측에서 더 나은 성능을 내는가?
• RQ2 그립 제안 앵커의 공간 분포를 제어함으로써 시뮬레이션 및 실제 환경 설정에서 그립 다양성과 성공률가 향상되는가?
• RQ3 그립 예측의 다양성이 도메인 간 차이가 있는 상황에서 실제 환경 일반화와 성공률에 얼마나 기여하는가?
• RQ4 합성 그립 애너테이션의 규모와 밀도가 엔드 투 엔드 그립 예측 네트워크의 성능에 미치는 영향은 어느 정도인가?
• RQ5 분리된 정밀화 단계 없이도 단일 통합 네트워크 아키텍처가 6-DOF 그립 예측에서 높은 정밀도와 높은 다양성을 동시에 달성할 수 있는가?

주요 결과

• 10×10×10 격자 해상도와 22cm×22cm×22cm 제안 공간을 사용할 경우 GPNet은 시뮬레이션에서 k=10%일 때 90.0%의 성공률를 기록하며, 정밀화 없이도 6-DOF 그립넷(43.3%)과 GQCNN(평면 그립에 대해 78.3%)을 뛰어넘는다.
• 10×10×10 격자와 22cm 제안 공간을 사용할 경우 GPNet은 20개의 물체에 대한 실제 테스트에서 85%의 성공률를 기록하며, 6-DOF 그립넷의 73% 성공률를 초월한다.
• 학습 데이터를 전체 데이터의 1/4으로 줄일 경우 GPNet의 시뮬레이션 성공률는 90.0%에서 52.2%로 감소하여 고품질이고 조밀한 애너테이션이 성능에 매우 중요하다는 것을 시사한다.
• 물체당 애너테이션 수가 성능에 큰 영향을 미친다: 물체당 애너테이션 수를 1만 개에서 10만 개로 늘일 경우 GPNet의 시뮬레이션 성공률는 65.0%에서 90.0%로 상승한다.
• 희소한 앵커 격자(r=3, b=22cm)를 사용한 GPNet은 k=10%일 때 64.4%의 성공률를 기록하며, 다양성이 핵심임을 입증한다. 더 조밀한 격자로 전환할수록 성능이 크게 향상된다.
• 실제 환경 테스트 결과 도메인 간 차이에도 불구하고 GPNet은 평균 85%의 높은 성공률를 유지하여 합성 환경에서 실제 환경으로의 효과적인 일반화를 보여준다.