[논문 리뷰] Primitive Shape Recognition for Object Grasping

Yunzhi Lin, Chao Tang외 3명|arXiv (Cornell University)|2022. 01. 04.

Robot Manipulation and Learning인용 수 4

한 줄 요약

이 논문은 깊이 영상에서 가정용 물체를 기본 형태(예: 실린더, 막대 등)로 분해함으로써 견고하고 형태 인식 기반의 로봇 그립을 가능하게 하는 분할 기반 딥러닝 파이프라인인 PS-CNN을 제안한다. 합성 데이터와 각 형태에 맞는 매arameterized 그립 가족을 활용함으로써, 작업 불필요 그립에서 94.2%의 성공률과 작업 지향 그립에서 93.0%의 성공률을 달성하여, 명시적인 기본 형태 인식이 그립 신뢰성과 일반화 능력을 크게 향상시킨다는 것을 입증한다.

ABSTRACT

Shape informs how an object should be grasped, both in terms of where and how. As such, this paper describes a segmentation-based architecture for decomposing objects sensed with a depth camera into multiple primitive shapes, along with a post-processing pipeline for robotic grasping. Segmentation employs a deep network, called PS-CNN, trained on synthetic data with 6 classes of primitive shapes and generated using a simulation engine. Each primitive shape is designed with parametrized grasp families, permitting the pipeline to identify multiple grasp candidates per shape region. The grasps are rank ordered, with the first feasible one chosen for execution. For task-free grasping of individual objects, the method achieves a 94.2% success rate placing it amongst the top performing grasp methods when compared to top-down and SE(3)-based approaches. Additional tests involving variable viewpoints and clutter demonstrate robustness to setup. For task-oriented grasping, PS-CNN achieves a 93.0% success rate. Overall, the outcomes support the hypothesis that explicitly encoding shape primitives within a grasping pipeline should boost grasping performance, including task-free and task-relevant grasp prediction.

연구 동기 및 목표

• 그립 파이프라인에 기본 형태를 명시적으로 인코딩하면 그립 성능이 향상되는지 조사하기.
• 딥러닝을 활용해 다수의 기본 형태로 물체를 분해하는 분할 기반 아키텍처를 개발하기.
• 분할된 영역에 형태별 그립 가족을 연계함으로써 작업 불필요 및 작업 지향 그립을 가능하게 하기.
• 기본 형태 검출을 위한 합성 훈련 데이터를 활용해 데이터 비효율성과 레이블링 부담을 줄이기.
• 실세계 로봇 그립에서 시야각 변화와 혼잡한 환경에 대한 일반화 능력과 내성 강도를 향상시키기.

제안 방법

• 6종류의 기본 형태 클래스(예: 실린더, 구, 상자 등)를 시뮬레이션 엔진을 통해 생성한 합성 깊이 영상으로 훈련된 딥 인스턴스 분할 네트워크인 PS-CNN를 사용한다.
• 파이프라인은 입력 깊이 영상을 개별적인 기본 형태 영역으로 분할하고, 각 형태 클래스별로 포인트 클라우드를 추출한다.
• 각 분할된 형태에 대해 RANSAC 기반의 형태 피팅 모듈이 자세와 매개변수(예: 축, 반지름, 길이)를 추정하여 기본 형태 모델을 복원한다.
• 각 기본 형태는 형태 기하학에 기반해 조밀한 그립 후보를 생성하는 매개변수화된 그립 가족과 연계된다.
• 학습된 스코어링 함수를 사용해 그립 후보를 평가하고 순위를 매기며, 실행에 적합한 상위 후보를 선택한다.
• 기존의 그립 계획 및 실행 가능성 검증 기법을 통합하여 실제 로봇 실행을 가능하게 한다.

실험 결과

연구 질문

• RQ1 딥 네트워크에서 암묵적인 형태 학습과 비교해 명시적인 기본 형태 인식이 로봇 그립 성공률을 향상시키는가?
• RQ2 복잡하거나 복합 기하학을 가진 새로운 가정용 물체에 대해 분할 기반 파이프라인이 얼마나 잘 일반화되는가?
• RQ3 시야각 변화와 혼잡한 환경에서 이 방법의 성능 유지 수준은 어느 정도인가?
• RQ4 손잡이 또는 용기 등 기능적으로 의미 있는 물체 부분을 구분함으로써 이 파이프라인이 작업 지향 그립을 지원할 수 있는가?
• RQ5 특히 물체가 순수한 하나의 기본 형태가 아닐 경우, 물체 복잡도 증가에 따라 성능이 어떻게 변화하는가?

주요 결과

• PS-CNN 파이프라인은 작업 불필요 그립에서 94.2%의 성공률을 달성하여 벤치마크에서 상위 성능을 기록한다.
• 최대 5개의 물체가 혼잡한 환경에서도 93.5%의 그립 성공률과 100%의 작업 완료률을 유지한다.
• 다양한 카메라 각도에서 일관된 성능을 보여 시야각 변화에 대해 뛰어난 내성 강도를 입증한다.
• 작업 지향 그립에서는 93.0%의 성공률을 기록하였으며, 작업 불필요 설정 대비 4%의 성능 저하를 보였고, 이는 이전 버전의 19% 저하보다 훨씬 우수하다.
• PS-CNN v2는 향상된 훈련 데이터와 형태 피팅으로 복잡한 물체 부분(예: 브러시의 손잡이와 기저부)을 더 잘 구분한다.
• 합성 훈련 데이터에서 실세계 물체로의 일반화 능력이 뛰어나, 물체가 순수한 기본 형태가 아니더라도 성능 유지가 가능하다.