[논문 리뷰] Closing the Loop for Robotic Grasping: A Real-time, Generative Grasp Synthesis Approach

D.R.O. Morrison, Peter Corke외 1명|arXiv (Cornell University)|2018. 04. 14.

Robot Manipulation and Learning인용 수 6

한 줄 요약

이 논문은 깊이 이미지의 각 픽셀에 대해 그립 품질, 각도, 너비를 예측하는 경량의 생성형 그립 합성 컨볼루션 신경망(GG-CNN)을 사용하여 실시간, 피드백 기반 그립 합성 방법을 제안한다. 이는 최대 50Hz에서의 클로즈드 루프 그립 합성을 가능하게 하며, 공격적인 3D 프린팅 물체에서 83%의 성공률, 일상용품에서 88%의 성공률, 그리고 동적 혼잡 환경에서 81%의 성공률을 기록한다. 이는 제어 오차가 존재하는 상황에서도 오픈 루프 방법보다 뛰어난 성능을 보인다.

ABSTRACT

This paper presents a real-time, object-independent grasp synthesis method which can be used for closed-loop grasping. Our proposed Generative Grasping Convolutional Neural Network (GG-CNN) predicts the quality and pose of grasps at every pixel. This one-to-one mapping from a depth image overcomes limitations of current deep-learning grasping techniques by avoiding discrete sampling of grasp candidates and long computation times. Additionally, our GG-CNN is orders of magnitude smaller while detecting stable grasps with equivalent performance to current state-of-the-art techniques. The light-weight and single-pass generative nature of our GG-CNN allows for closed-loop control at up to 50Hz, enabling accurate grasping in non-static environments where objects move and in the presence of robot control inaccuracies. In our real-world tests, we achieve an 83% grasp success rate on a set of previously unseen objects with adversarial geometry and 88% on a set of household objects that are moved during the grasp attempt. We also achieve 81% accuracy when grasping in dynamic clutter.

연구 동기 및 목표

• 객체가 움직이고 로봇 제어가 정확하지 않은 동적 환경에서 실시간, 클로즈드 루프 로봇 그립 합성을 가능하게 하기 위해.
• 기존의 깊이 학습 기반 그립 합성 방법이 느린 이산적 그립 후보 샘플링에 의존하는 한계를 극복하기 위해.
• 고속(50Hz)으로 작동하는 경량의, 물체에 종속되지 않는 그립 합성 모델을 개발하여 실용적 구현을 가능하게 하기 위해.
• 실세계 로봇 조작에서의 인식 노이즈, 제어 부정확성, 동적 혼잡 환경에 대한 강건성을 향상시키기 위해.
• 표준화된 물체 세트를 사용하고 명확한 실험 프로토콜을 정의하여 재현 가능성을 증진하기 위해.

제안 방법

• GG-CNN는 그립 후보 샘플링이 필요 없도록 깊이 이미지의 각 픽셀에 대해 그립 품질, 각도, 그립퍼 너비를 직접 회귀한다.
• 네트워크는 완전 컨볼루션 구조이며 단일 패assing 추론 모드로 훈련되어 GPU에서 19ms 내에 추론이 가능하다.
• 그립 자세는 품질 점수를 갖는 반대편 그립으로 매개변수화되어 깊이 입력에서 로봇 명령까지 직접 엔드 투 엔드 제어가 가능하다.
• 클로즈드 루프 제어 시스템은 실시간 깊이 피드백을 사용해 그립 예측을 지속적으로 업데이트하여 운동 및 제어 오차를 보정한다.
• 시스템은 20ms마다(50Hz) 그립을 재평가하는 속도 명령 루프를 사용하여 동적 적응을 가능하게 한다.
• 제어 부정확성은 카르테시안 속도에 교차 상관 노이즈를 도입하여 시뮬레이션하여 강건성을 테스트한다.

실험 결과

연구 질문

• RQ1 딥 러닝 기반 그립 합성 시스템이 동적 환경에서 실시간 성능(50Hz)을 달성할 수 있는가?
• RQ2 직접적인 픽셀 단위의 그립 생성 접근 방식이 샘플링 기반 방법보다 속도와 강건성 면에서 뛰어나지 않는가?
• RQ3 시스템은 동적 물체 운동과 로봇 제어 부정확성 하에서 어떻게 성능을 발휘하는가?
• RQ4 이 방법은 복잡한 기하학적 구조를 가진 예측 불가능한 공격적 물체와 일상용품으로 일반화 가능한가?
• RQ5 기존 작업과 비교해 동적 혼잡 환경에서의 시스템 성능은 어떠한가?

주요 결과

• GG-CNN는 그립 중에 움직이는 8개의 3D 프린팅 공격적 물체에서 83%의 그립 성공률을 기록하며, 이는 이전 방법을 초월한다.
• 표준 기준 세트에서 12개의 일상용품에 대해 동적 조건에서 88%의 성공률을 기록한다.
• 동적 혼잡 환경에서는 81%의 그립 성공률을 기록하며, 이는 이 분야에서 기존 최고 성능을 향상시킨다.
• 심각한 제어 오차(σ = 0.15) 하에서도 클로즈드 루프 방법은 68%와 73%의 성공률을 유지하지만, 오픈 루프 방법은 38%로 급격히 감소한다.
• GG-CNN는 GPU에서 19ms 내에 추론이 가능하여 50Hz 제어를 가능하게 하며, 유사한 네트워크 대비 수개의 차수 더 적은 파라미터를 가진다.
• 시스템은 인식 노이즈와 제어 노이즈에 강건하며, 성능 저하가 카메라 업데이트 범위(물체에서 70mm 이내)에 의해 제한되며, 네트워크 자체에 의해 제한되지 않는다.