[논문 리뷰] REGNet: REgion-based Grasp Network for End-to-end Grasp Detection in Point Clouds

Binglei Zhao, Hanbo Zhang외 4명|arXiv (Cornell University)|2020. 02. 28.

Robot Manipulation and Learning참고 문헌 42인용 수 4

한 줄 요약

REGNet는 단일 시야 레이저 포인트 클라우드를 처리하여 혼잡한 환경에서 3D 그립을 예측하는 엔드 투 엔드, 영역 기반 그립 검출 네트워크이다. 세 단계 파이프라인—신뢰도 점수를 예측하는 스코어 네트워크, 그립 앵커를 사용한 그립 영역 네트워크를 통한 제안 생성, 정밀도 향상을 위한 리파인 네트워크—을 활용하여 실제 로봇 실험에서 79.34%의 성공률과 96%의 완료률을 기록했으며, GPD, PointNetGPD, S⁴G와 같은 최신 기술들을 능가한다.

ABSTRACT

Reliable robotic grasping in unstructured environments is a crucial but challenging task. The main problem is to generate the optimal grasp of novel objects from partial noisy observations. This paper presents an end-to-end grasp detection network taking one single-view point cloud as input to tackle the problem. Our network includes three stages: Score Network (SN), Grasp Region Network (GRN), and Refine Network (RN). Specifically, SN regresses point grasp confidence and selects positive points with high confidence. Then GRN conducts grasp proposal prediction on the selected positive points. RN generates more accurate grasps by refining proposals predicted by GRN. To further improve the performance, we propose a grasp anchor mechanism, in which grasp anchors with assigned gripper orientations are introduced to generate grasp proposals. Experiments demonstrate that REGNet achieves a success rate of 79.34% and a completion rate of 96% in real-world clutter, which significantly outperforms several state-of-the-art point-cloud based methods, including GPD, PointNetGPD, and S4G. The code is available at https://github.com/zhaobinglei/REGNet_for_3D_Grasping.

연구 동기 및 목표

• 부분적이고 노이즈가 많은 포인트 클라우드 관측을 바탕으로 한 구조가 불규칙하고 혼잡한 환경에서 신뢰할 수 있는 로봇 그립을 구현하는 데 도전한다.
• 기존 방법들이 히ュ리스틱 샘플링, Darboux 프레임 추정, 또는 낮은 형태 인식 능력을 가진 단일 포인트 특징에 의존하는 한계를 극복한다.
• 3D 객체 모델이나 광범위한 실세계 데이터가 필요 없이 단일 시야 포인트 클라우드에서 엔드 투 엔드 그립 검출을 가능하게 한다.
• 영역 기반 특징 집약과 앵커 기반 제안 정밀화를 통해 높은 혼잡도 환경에서의 그립 검출 정확도와 내성 강도를 향상시킨다.
• 합성 학습 데이터에서 얻은 성능이 새로운, 알려지지 않은 물체에 대해 실세계 로봇 작업에 효과적으로 일반화될 수 있도록 한다.

제안 방법

• 단일 시야 포인트 클라우드에서 초기 특징을 추출하기 위해 PointNet++를 사용한다.
• 각 포인트의 그립 신뢰도를 예측하고 높은 신뢰도를 가진 양성 포인트를 그립 후보로 선별하기 위해 스코어 네트워크(SN)를 적용한다.
• 선택된 포인트 주변에 국소 그립 영역을 구성하여 더 풍부한 공간적 및 기하학적 맥락을 집약하는 그립 영역 네트워크(GRN)를 적용함으로써 단일 포인트보다 향상된 특징 표현을 확보한다.
• 사전 정의된 그립퍼 방향을 가진 그립 앵커 메커니즘을 도입하여 더 정확한 그립 제안을 생성함으로써 앵커 없는 방법 대비 국소화 정밀도를 향상시킨다.
• 그립 영역과 제안 영역의 특징을 융합하여 초기 제안을 정밀화하는 리파인 네트워크(RN)를 활용하여 그립 품질과 안정성을 향상시킨다.
• 충돌 없는 그립과 그립 품질 점수를 포함한 합성 데이터셋을 사용하여 전체 네트워크를 엔드 투 엔드로 훈련함으로써 실세계 시나리오로의 제로샷 전이를 가능하게 한다.

실험 결과

연구 질문

• RQ1 영역 기반, 엔드 투 엔드 딥 러닝 접근법이 혼잡한 장면에서 기존의 포인트 클라우드 기반 그립 검출 방법보다 성공률과 내성 강도 측면에서 뛰어나게 작용할 수 있는가?
• RQ2 공간 맥락을 가진 영역 기반 특징 집약이 단일 포인트 특징 회귀 대비 그립 검출 성능을 얼마나 향상시키는가?
• RQ3 사전 정의된 방향을 가진 그립 앵커 메커니즘이 3D 그립 검출에서 제안의 국소화 정밀도를 얼마나 향상시키는가?
• RQ4 초기 제안 생성 후 전용 리파인 네트워크를 적용할 경우 그립 품질과 성공률이 뚜렷이 향상되는가?
• RQ5 합성 데이터로만 훈련된 모델이 새로운, 알려지지 않은 물체에 대해 실세계 로봇 그립 작업에 효과적으로 일반화될 수 있는가?

주요 결과

• Baxter 로봇에 장착된 2지지 평행 쐐기 그립퍼를 사용한 실세계 실험에서 REGNet은 79.34%의 성공률과 96%의 완료률을 기록했으며, GPD(45.87%), PointNetGPD(49.06%), S⁴G(76.67%)를 크게 능가했다.
• 절단 실험 결과, 그립 영역 특징을 제거할 경우 성능 저하가 발생하여, 향상된 국소 특징 집약을 통해 그립 검출 성능 향상에 핵심적인 역할을 한다는 점을 입증했다.
• 그립 앵커 메커니즘이 성능 향상에 기여하며, 앵커 없는 기준 대비 충돌 회피 비율과 반대점 점수에서 뚜렷한 향상이 있었다.
• 리파인 네트워크(RN)를 포함할 경우 충돌 회피 비율이 1.96% 향상되어 낮은 품질의 제안을 정밀화하는 데 효과적이라는 점을 입증했다.
• XYZ 좌표 외에 RGB 특징을 함께 활용할 경우, XYZ 전용 특징 대비 충돌 회피 비율과 반대점 점수 모두에서 성능 향상이 있었으며, 이는 성능 향상에 기여했다.
• 합성 데이터로만 훈련된 REGNet이 실세계 시나리오로의 효과적인 일반화를 성공적으로 달성했으며, 혼잡한 환경에서 새로운 물체에 대해 강력한 제로샷 전이 능력을 보였다.