[논문 리뷰] S4G: Amodal Single-view Single-Shot SE(3) Grasp Detection in Cluttered Scenes

Yuzhe Qin, Rui Chen외 4명|arXiv (Cornell University)|2019. 10. 31.

Robot Manipulation and Learning참고 문헌 32인용 수 55

한 줄 요약

본 논문은 단일 샷 6-DoF 그립 제안 네트워크인 S4G를 제시하며, 한 시점 뷰 depth 포인트 클라우드에서 SE(3) 그립 자세를 회귀하고 합성된 어수리(cluttered) 장면에서 학습되었으며, 최첨단 방법들보다 우수한 성능을 보임을 입증한다.

ABSTRACT

Grasping is among the most fundamental and long-lasting problems in robotics study. This paper studies the problem of 6-DoF(degree of freedom) grasping by a parallel gripper in a cluttered scene captured using a commodity depth sensor from a single viewpoint. We address the problem in a learning-based framework. At the high level, we rely on a single-shot grasp proposal network, trained with synthetic data and tested in real-world scenarios. Our single-shot neural network architecture can predict amodal grasp proposal efficiently and effectively. Our training data synthesis pipeline can generate scenes of complex object configuration and leverage an innovative gripper contact model to create dense and high-quality grasp annotations. Experiments in synthetic and real environments have demonstrated that the proposed approach can outperform state-of-the-arts by a large margin.

연구 동기 및 목표

• 객체 카테고리 가정 없이 단일 시야 깊이 센서에서 혼잡한(cluttered) 장면의 6-DoF 그립 문제를 다룬다.
• 효율성과 정확성을 위해 SE(3) 그립을 직접 회귀하는 단일 샷 그립 제안 네트워크를 개발한다.
• 새로운 그리퍼 접촉 모델을 갖춘 물리적으로 타당하고 밀도 높은 합성 학습 데이터셋을 만든다.
• 어모달 그립 예측과 장면 분석을 통해 부분적이고 노이즈가 있는 깊이 데이터에 대한 강건성을 보장한다.

제안 방법

• 각 포인트에 6-DoF 그립 자세와 품질 점수를 할당하는 PointNet++ 기반의 단일 샷 그립 제안 네트워크를 제안한다.
• 6-DoF 회전을 연속적인 6D 회전 표현으로 표현하고 그리퍼 대칭성을 고려하는 회전 손실을 사용한다.
• 힘-닫힘(force-closure) 개념을 사용한 그리퍼 접촉 모델을 개발하여 대립 접안(antipodal) 및 점유 기반(occupancy-based) 그립 점수를 생성한다.
• MuJoCo와 V-HACD를 사용하여 물리적으로 타당한 혼합 장면을 합성하고 현실적인 학습 데이터를 생성하며 노이즈가 있는 깊이 뷰를 렌더링한다.
• 네트워크를 통해 국소 기하와 전역 기하를 결합하여 빽빽한 혼합물에서 충돌 없는 그립을 예측하고, 실행을 위해 비최대 억제(NMS)와 확률적 그립 샘플링을 적용한다.

실험 결과

연구 질문

• RQ1 단일 샷 SE(3) 그립 탐지기가 단일 시야의 부분 포인트 클라우드에서 혼잡한 장면에서 실행 가능하고 충돌 없는 6-DoF 그립을 예측할 수 있는가?
• RQ2 장면 데이터로부터 그립 제안을 직접 회귀하도록 학습하는 것이 혼잡 및 노이즈 환경에서 샘플링 기반 접근법보다 우수한가?
• RQ3 현실적인 그리퍼 접촉 모델을 가진 합성 데이터가 실제 세계의 혼잡한 조작 작업에 일반화되는가?
• RQ4 밀집한 장면에서 성공률 측면에서 6-DoF(SE(3)) 그립 예측과 전통적인 3/4-DoF 접근 방식의 영향은 무엇인가?

주요 결과

• 본 방법은 각 포인트에 대해 6-DoF 그립을 직접 회귀하고 혼잡한 장면에서 강건한 성능을 달성한다.
• 시뮬레이션에서 이 접근법은 GPD 변형 및 PointNetGPD와 같은 베이스라인보다 대립 접안 점수와 노이즈 하에서의 충돌 없는 그립에서 우수한 성능을 보인다.
• 로봇 실험에서 S4G를 사용하면 성공률과 완성률이 더 높으며(예: 77.1% 성공, 92.5% 완성) 추론 속도도 빠르다(그립당 약 12.6 ms) 비교 대상보다.
• 63.38%의 재현율은 다양한 장면 밀도에서 3/4-DoF 그립에 비해 SE(3) 그립의 향상된 능력을 시사한다.
• 이 파이프라인은 NMS와 확률적 샘플링을 통해 실행 가능한 그립을 효율적으로 생성하여 혼잡한 환경에서 실시간 또는 거의 실시간 조작을 가능하게 한다.