[논문 리뷰] RGB Matters: Learning 7-DoF Grasp Poses on Monocular RGBD Images

Minghao Gou, Hao-Shu Fang외 4명|arXiv (Cornell University)|2021. 03. 03.

Robot Manipulation and Learning참고 문헌 39인용 수 6

한 줄 요약

이 논문은 RGBD-Grasp를 제안하며, 7-DoF 그립 포즈 추정을 RGB 기반 회전 예측(각도-뷰 넷을 통한)과 깊이 기반 분석적 탐색(그립퍼 너비 및 거리 추정)으로 분리하는 이단계적 딥러닝 파이프라인을 구축한다. GraspNet-1Billion에서 최고 성능을 기록하며, 단일 물체 환경에서 실제 로봇 실험에서 91.7%의 성공률, 혼잡한 환경에서는 91.1%의 성공률를 기록하여 깊이 노이즈에 강건하고 새로운 물체로의 일반화 능력을 입증한다.

ABSTRACT

General object grasping is an important yet unsolved problem in the field of robotics. Most of the current methods either generate grasp poses with few DoF that fail to cover most of the success grasps, or only take the unstable depth image or point cloud as input which may lead to poor results in some cases. In this paper, we propose RGBD-Grasp, a pipeline that solves this problem by decoupling 7-DoF grasp detection into two sub-tasks where RGB and depth information are processed separately. In the first stage, an encoder-decoder like convolutional neural network Angle-View Net(AVN) is proposed to predict the SO(3) orientation of the gripper at every location of the image. Consequently, a Fast Analytic Searching(FAS) module calculates the opening width and the distance of the gripper to the grasp point. By decoupling the grasp detection problem and introducing the stable RGB modality, our pipeline alleviates the requirement for the high-quality depth image and is robust to depth sensor noise. We achieve state-of-the-art results on GraspNet-1Billion dataset compared with several baselines. Real robot experiments on a UR5 robot with an Intel Realsense camera and a Robotiq two-finger gripper show high success rates for both single object scenes and cluttered scenes. Our code and trained model will be made publicly available.

연구 동기 및 목표

• 2D 평면 그립 방식과 깊이 데이터에 크게 의존하거나 새로운 물체로의 일반화에 실패하는 6-DoF 방법의 한계를 해결하기 위해.
• 깊이 센서 노이즈에 민감도를 낮추기 위해 안정적인 RGB 모odal리티를 깊이와 함께 활용하여 그립 포즈 추정의 강건성을 향상시키기 위해.
• 단일 RGBD 입력을 통해 실시간으로 고차원 자유도(7-DoF) 그립 탐지를 가능하게 하며, 기존에 본 적 있는 물체뿐 아니라 새로운 물체도 지원하기 위해.
• 단일 물체 및 혼잡한 환경에서 실제 로봇 그립 시나리오에서 모두 높은 성공률를 달성하기 위해.

제안 방법

• 각도-뷰 넷(AVN), U-Net 유사한 인코더-디코더 CNN으로, RGB 이미지를 처리하여 픽셀 단위의 열지도로 SO(3) 그립 방향을 예측한다.
• 빠른 분석적 탐색(FAS) 모듈은 AVN의 열지도와 깊이 이미지를 사용하여 충돌 및 빈 그립 탐지 기반으로 그립퍼 개방 너비와 그립 포인트까지의 거리를 계산한다.
• 7-DoF 그립 탐지를 방향 예측(RGB 전용)과 기하학적 파라미터 추정(RGB + 깊이)으로 분리함으로써 효율적이고 강건한 추론을 가능하게 한다.
• 파이프라인은 GraspNet-1Billion 데이터셋으로 훈련되었으며, 10.5 FPS로 작동하여 실시간 요구 조건을 충족시킨다.
• 다른 깊이 센서(예: Kinect 대비 RealSense) 간의 일반화 능력을 테스트하기 위해 교차 카메라 평가 프로토콜을 사용한다.

실험 결과

연구 질문

• RQ1 단일 RGBD 입력을 통해 새로운 물체로의 일반화가 가능한 강건한 7-DoF 그립 포즈 예측이 가능한가?
• RQ2 방향 예측을 기하학적 파라미터 추정에서 분리함으로써 깊이 센서 노이즈에 대한 강건성이 향상되는가?
• RQ3 이중 단계 파이프라인은 종단 간 모델 대비 실시간 추론을 달성하면서도 7-DoF 그립 탐지에서 승리할 수 있는가?
• RQ4 복잡한 혼잡한 환경에서 기존 최고 기술 대비 이 방법의 성능은 어떠한가?

주요 결과

• RGBD-Grasp는 GraspNet-1Billion에서 최고 성능을 기록하며, Kinect 기준으로 본 물체, 유사 물체, 새로운 물체에 대해 각각 2.20, 2.56, 1.57 포인트 향상되었고, RealSense 기준으로는 각각 0.42, 1.12, 1.70 포인트 향상되었다.
• 이 방법은 도메인 이동 상황에서도 높은 성능를 유지하며, 깊이 품질에 크게 의존하는 방법들과 달리 다른 깊이 카메라(예: RealSense 대비 Kinect)에서 평가해도 성능 저하가 미미하다.
• 실제 로봇 실험에서 RGBD-Grasp는 UR5 로봇과 Robotiq 그립퍼를 사용해 단일 물체 환경에서 91.7%의 성공률, 혼잡한 환경에서는 91.1%의 성공률를 기록했다.
• 파이프라인은 10.5 FPS로 작동하여 실시간 로봇 조작 작업에 적합함을 확인했다.
• 이 방법은 새로운 물체로의 일반화 능력이 뛰어나 실제 환경에서 이전에 본 적 없는 물체에 대해 85–90%의 성공률를 기록했다.