[논문 리뷰] Deep Learning a Grasp Function for Grasping under Gripper Pose Uncertainty

Edward Johns, Stefan Leutenegger외 1명|arXiv (Cornell University)|2016. 08. 07.

Robot Manipulation and Learning참고 문헌 17인용 수 33

한 줄 요약

이 논문은 단일 깊이 이미지에서 모든 가능한 그립퍼 자세에 대한 그립 품질 점수(그립 함수)를 예측하는 딥러닝 접근법을 제안한다. 이는 자세 불확실성 하에서 그립 함수를 불확실성 분포와 함께 스무딩하여 견고한 그립을 가능하게 한다. 시뮬레이션 및 실제 실험에서 표준 방법보다 우수한 성능을 보이며, 특히 높은 불확실성 하에서도 80.3%의 성공률을 기록한다. 이는 실제 로봇 자세 오차를 반영한 결과이다.

ABSTRACT

This paper presents a new method for parallel-jaw grasping of isolated objects from depth images, under large gripper pose uncertainty. Whilst most approaches aim to predict the single best grasp pose from an image, our method first predicts a score for every possible grasp pose, which we denote the grasp function. With this, it is possible to achieve grasping robust to the gripper's pose uncertainty, by smoothing the grasp function with the pose uncertainty function. Therefore, if the single best pose is adjacent to a region of poor grasp quality, that pose will no longer be chosen, and instead a pose will be chosen which is surrounded by a region of high grasp quality. To learn this function, we train a Convolutional Neural Network which takes as input a single depth image of an object, and outputs a score for each grasp pose across the image. Training data for this is generated by use of physics simulation and depth image simulation with 3D object meshes, to enable acquisition of sufficient data without requiring exhaustive real-world experiments. We evaluate with both synthetic and real experiments, and show that the learned grasp score is more robust to gripper pose uncertainty than when this uncertainty is not accounted for.

연구 동기 및 목표

• 센서 노이즈, 캘리브레이션 오차, 기계적 변형으로 인한 심각한 그립퍼 자세 불확실성으로 인한 로봇 그립의 과제를 해결하기 위해.
• 단일 최적 자세를 예측하는 것이 아니라, 모든 가능한 그립퍼 자세에 품질 점수를 할당하는 그립 함수를 개발하기 위해.
• 그립 함수를 가우시안 불확실성 커널과의 컨볼루션을 통해 자세 불확실성을 근거로 평균화함으로써 내성적 안정성을 향상시키기 위해.
• 물리 시뮬레이터와 3D 물체 메시의 합성 깊이 이미지를 사용하여 대규모이고 다양한 훈련 데이터를 생성함으로써 비용이 많이 드는 실제 세계 데이터 수집을 피하기 위해.
• 실제 자세 불확실성을 반영한 Kinova MICO 로봇 암을 사용하여 시뮬레이션 및 실제 세계 설정에서 방법을 검증하기 위해.

제안 방법

• 2차원 그립 함수를 생성하기 위해, 깊이 이미지 전역에서 이산화된 모든 그립퍼 자세에 대해 그립 품질 점수를 예측하는 컨볼루션 신경망(CNN)을 훈련시킨다.
• 훈련 데이터는 3D 물체 메시에서 깊이 이미지를 렌더링하고 물리 시뮬레이터를 사용해 그립 안정성을 시뮬레이션하여 그립 품질을 평가함으로써 합성된다.
• 자세 불확실성은 영상 공간(우도 위치 및 회전 θ)에서 2차원 가우시안 분포로 모델링되며, 실제 로봇 측정값에서 추정된 표준편차 σ_uv 및 σ_θ를 사용한다.
• 그립 함수는 불확실성 커널과의 컨볼루션을 통해 스무딩되어, 높은 품질 영역에 둘러싸인 자세를 선호하는 견고한 그립 함수를 생성한다.
• 최종 그립 자세는 스무딩된 견고한 그립 함수의 최대값으로 선택되어, 그립퍼가 의도한 자세에서 벗어나도 안정성이 유지된다.
• 실제 로봇 암(Kinova MICO)에 장착된 손목형 깊이 카메라를 사용하여 20종의 일상 용품을 대상으로 실험하며, 성공 기준은 테이블에서 20cm 높이로 물체를 들어 올리는 것이다.

실험 결과

연구 질문

• RQ1 딥 뉴럴 네트워크는 단일 깊이 이미지에서 모든 가능한 그립퍼 자세에 대한 종합적인 그립 함수를 학습할 수 있는가?
• RQ2 모델링된 자세 불확실성 분포로 그립 함수를 스무딩하면 제어 오류가 존재하는 상황에서 더 견고한 그립을 가능하게 하는가?
• RQ3 자세 불확실성이 높거나 낮을 때, 견고한 그립 함수의 성능은 표준 방법보다 어떻게 다른가?
• RQ4 물리 시뮬레이션과 깊이 렌더링를 통해 생성된 합성 데이터는 실제 로봇 그립 작업에 효과적으로 전이될 수 있는가?
• RQ5 자세 불확실성이 증가할수록 견고한 방법에서 최종 그립 자세 선택에 어떤 영향을 미치는가?

주요 결과

• 실제 로봇 자세 불확실성(σ_uv = 6.2 픽셀, σ_θ = 4.7°) 하에서 견고한 그립 함수 방법은 80.3%의 성공률을 기록하였으며, 베이스라인 '최적 그립' 방법(78.0%)과 '중심점' 방법(75.2%)을 모두 초월하였다.
• 자세 불확실성을 σ_uv = 20 픽셀 및 σ_θ = 15°로 증가시켰을 때, 견고한 방법의 성공률은 70.1%로 향상되었고, '최적 그립' 방법은 62.4%로 감소하여 고불확실성 하에서도 뛰어난 견고성을 입증하였다.
• 단일 최적 자세가 충돌 위험이나 불안정한 영역 근처에 있더라도, 이 방법은 불안정한 그립 영역을 피하며 높은 품질 점수를 둘러싸는 자세로 그립퍼를 이동시켜 성공적으로 작동한다.
• 높은 불확실성 하에서는 최적의 그립 자세가 무거운 또는 복잡한 물체 부분에서 멀어지며, 대신 길고 얇은 특징의 중심부로 선택되는 경향이 있어, 효과적인 불확실성 인식 계획이 이루어지고 있음을 보여준다.
• 합성 데이터에서 학습된 그립 함수는 실제 세계 실행으로 잘 일반화되어, 물리 기반 시뮬레이션을 통한 데이터 생성이 로봇 조작에 효과적임을 검증한다.