[논문 리뷰] Towards Precise Robotic Grasping by Probabilistic Post-grasp Displacement Estimation

Jialiang Zhao, Jacky Liang외 1명|arXiv (Cornell University)|2019. 09. 04.

Robot Manipulation and Learning인용 수 5

한 줄 요약

이 논문은 시뮬레이션 훈련을 거친 딥러닝 기반 접근법을 제안하여, 정확한 로봇 그립을 가능하게 하기 위해 그립 성공 확률과 그립 후 물체 이동 분포를 동시에 예측한다. 높은 성공 확률과 낮은 이동 분산을 갖는 그립을 선택함으로써, 실세계에서의 미세조정 없이도 새로운 실세계 물체에 대해 평균 예측 오차가 0.68 cm 이내의 선형 오차와 3.42° 이내의 회전 오차를 달성한다.

ABSTRACT

Precise robotic grasping is important for many industrial applications, such as assembly and palletizing, where the location of the object needs to be controlled and known. However, achieving precise grasps is challenging due to noise in sensing and control, as well as unknown object properties. We propose a method to plan robotic grasps that are both robust and precise by training two convolutional neural networks - one to predict the robustness of a grasp and another to predict a distribution of post-grasp object displacements. Our networks are trained with depth images in simulation on a dataset of over 1000 industrial parts and were successfully deployed on a real robot without having to be further fine-tuned. The proposed displacement estimator achieves a mean prediction errors of 0.68cm and 3.42deg on novel objects in real world experiments.

연구 동기 및 목표

• 그립 후 물체 자세를 사전에 알 수 있어야 하는 산업 작업에서 정밀한 로봇 그립을 달성하는 데 도전한다.
• 실세계에서의 미세조정 없이도 시뮬레이션된 깊이 이미지만을 사용하여 시뮬레이션에서 실세계로의 격차를 극복한다.
• 그립 성공률뿐 아니라 그립 후 물체 이동 분포까지 예측하여 그립 정밀도를 향상시킨다.
• 그립 후 물체 이동을 예측 가능하게 보완하여 팔레트 정렬과 같은 후속 작업을 가능하게 한다.
• 이동 분산이 낮은 그립을 선택함으로써 실세계 적용에서 일관성과 정확도를 향상시키는 방법을 개발한다.

제안 방법

• 1,000개 이상의 산업 부품에 대한 시뮬레이션된 깊이 이미지에서 두 개의 컨volutional 신경망(CNN)을 훈련한다: 하나는 그립의 내구성 예측, 다른 하나는 그립 후 이동 분포 예측.
• 도메인 랜덤라이제이션과 깊이 이미지만을 입력으로 사용하여 시뮬레이션에서 실세계로의 도메인 격차를 줄이고, 실세계 로봇에 대해 제로샷 배포를 가능하게 한다.
• 단일 점 추정이 아니라, 그립 후 이동(선형 이동 및 회전)에 대한 전체 확률 분포를 예측한다.
• 높은 그립 성공 확률과 낮은 예측된 이동 분산을 갖는 그립을 선택하여 정밀도를 향상시킨다.
• 평면 이동을 가정하고, 색상 이미지에서 마커 기반 자세 정렬 방법을 사용하여 실세계 이동을 추정한다.
• 예측된 이동을 보완하여 작업 실행(예: 팔레트 정렬) 중에 타겟 자세를 적절히 조정한다.

실험 결과

연구 질문

• RQ1 시뮬레이션에서 실세계로의 딥러닝 접근법이 실세계에서의 미세조정 없이도 충분히 정확한 그립 후 물체 이동을 예측할 수 있는가?
• RQ2 예측된 이동 분산이 낮은 그립을 선택할 경우, 실세계 실험에서 그립 후 물체 이동 예측 정확도에 어떤 영향을 미치는가?
• RQ3 감지 및 제어 노이즈가 존재하는 상황에서, 확률적 이동 예측이 팔레트 정렬과 같은 후속 작업 성능을 얼마나 향상시킬 수 있는가?
• RQ4 깊이 이미지만을 사용하고 시뮬레이션 기반 훈련을 통해, 정밀한 그립 작업에서 도메인 적응 또는 실세계 데이터 수집이 필요 없어지는가?
• RQ5 실세계에서 새로운, 볼 수 없는 산업 부품에 대해 제안된 방법의 예측 오차가 기준 모델 대비 어떻게 비교되는가?

주요 결과

• 제안된 방법은 시뮬레이션에서 제로샷 배포 후, 새로운 실세계 산업 부품에서 평균 선형 루트 평균 제곱 오차(RMSE)가 0.68 cm 이내이고, 회전 RMSE가 3.42° 이내로 달성되었다.
• 높은 성공 확률과 낮은 예측 이동 분산을 갖는 그립을 사용함으로써 오차 분산이 감소하고 다양한 물체 간 일관성이 향상되었다.
• GCIP-M+V 모델은 실세계 실험에서 선형 및 회전 이동 예측 모두에서 다른 변종보다 뛰어나 가장 낮은 RMSE를 기록했다.
• 예측된 이동을 보완함으로써 정확한 팔레트 정렬이 가능해졌으며, 후속 작업에서 실용적인 유용성을 입증했다.
• 각 시도에서 점수가 가장 높은 그립을 선택했을 때, 물체를 들어내는 성공률가 86.3%에 도달하여 그립 품질 예측의 견고성을 확인했다.
• 실세계 Franka Panda 로봇에 실세계에서의 미세조정 없이 성공적으로 배포되어, 깊이 이미지만을 사용한 시뮬레이션 기반 훈련이 실세계 일반화에 효과적임을 입증했다.