[논문 리뷰] Vision-based Robotic Grasping from Object Localization, Pose Estimation, Grasp Detection to Motion Planning: A Review.

Guoguang Du, Kai Wang외 1명|arXiv (Cornell University)|2019. 05. 16.

Robot Manipulation and Learning참고 문헌 82인용 수 53

한 줄 요약

이 종합 검토는 시각 기반 로봇 그립핑을 체계적으로 분석함으로써 세 핵심 과제인 물체 국소화, 6자유도 자세 추정, 그립 감지를 다룹니다. RGB-D 입력을 사용하여 전통적 방법과 딥 러닝 기반 방법을 평가하고 최신 기법들을 강조하며, 종단 간 그립핑 시스템에서의 주요 과제와 향후 방향을 규명합니다.

ABSTRACT

This paper presents a comprehensive survey on vision-based robotic grasping. We conclude three key tasks during vision-based robotic grasping, which are object localization, object pose estimation and grasp estimation. In detail, the object localization task contains object localization without classification, object detection and object instance segmentation. This task provides the regions of the target object in the input data. The object pose estimation task mainly refers to estimating the 6D object pose and includes correspondence-based methods, template-based methods and voting-based methods, which affords the generation of grasp poses for known objects. The grasp estimation task includes 2D planar grasp methods and 6DoF grasp methods, where the former is constrained to grasp from one direction. These three tasks could accomplish the robotic grasping with different combinations. Lots of object pose estimation methods need not object localization, and they conduct object localization and object pose estimation jointly. Lots of grasp estimation methods need not object localization and object pose estimation, and they conduct grasp estimation in an end-to-end manner. Both traditional methods and latest deep learning-based methods based on the RGB-D image inputs are reviewed elaborately in this survey. Related datasets and comparisons between state-of-the-art methods are summarized as well. In addition, challenges about vision-based robotic grasping and future directions in addressing these challenges are also pointed out.

연구 동기 및 목표

• 시각 기반 로봇 그립핑의 세 핵심 과제인 물체 국소화, 6자유도 물체 자세 추정, 그립 추정에 대한 체계적인 개요를 제공하는 것.
• RGB-D 이미지 입력을 사용하여 각 과제에 대해 전통적 방법과 딥 러닝 기반 방법을 분석하고 비교하는 것.
• 물체 국소화, 자세 추정, 그립 감지 분야에서 기존 데이터셋을 요약하고 최신 기법의 성능을 벤치마킹하는 것.
• 시각 기반 로봇 그립핑에서 지속적인 과제를 규명하고, 더 높은 강인성과 일반화 능력을 확보하기 위한 향후 연구 방향을 제안하는 것.
• 특히 물체 국소화, 자세 추정, 그립 감지 과제가 동시에 또는 종단 간 방식으로 수행될 때 상호 의존성 구조를 명확히 하는 것.

제안 방법

• 물체 국소화를 세 하위 과제로 분류: 분류 없이 국소화, 물체 검출, 인스턴스 세그멘테이션을 통해 대상 물체 영역을 식별하는 것.
• 6자유도 물체 자세 추정 방법을 세 가지 파라다임으로 검토: 대응 기반, 템플릿 기반, 투표 기반 기법을 활용해 그립 준비 자세를 생성하는 것.
• 그립 추정을 2차원 평면 그립(단일 방향 제약)과 6자유도 그립(전체 공간 자유도)으로 분류하고, 각각의 방법론적 접근 방식을 분석하는 것.
• 각 과제에 대해 전통적 모델과 딥 러닝 기반 모델을 평가하며, RGB-D 데이터를 효과적으로 처리할 수 있는 아키텍처와 프레임워크에 중점을 두는 것.
• 물체 국소화, 자세 추정, 그립 감지 과제가 별도의 파ipeline 없이 동시에 최적화되는 다중 과제 학습 및 종단 간 접근 방식을 통합하는 것.
• 표준화된 벤치마크와 공개된 데이터셋을 사용하여 방법들을 비교하고, 정확도, 속도, 일반화 능력 간의 성능 트레이드오프를 부각하는 것.

실험 결과

연구 질문

• RQ1 검출, 세그멘테이션, 분류 없이 국소화하는 다양한 물체 국소화 기법이 후속 그립핑 성능에 어떤 영향을 미치는가?
• RQ2 대응 기반, 템플릿 기반, 투표 기반 기법이 6자유도 물체 자세 추정에서 각각의 강점과 한계는 무엇인가?
• RQ3 2차원 평면 그립과 6자유도 그립 추정 기법은 실제 환경 제약 조건 하에서 어떤 방식으로 적용성과 성능에서 다름이 있는가?
• RQ4 별도의 국소화 및 자세 추정 단계를 생략하는 종단 간 접근 방식은 그립핑의 효율성과 강인성을 어떻게 향상시키는가?
• RQ5 딥 러닝과 센서 융합 기술의 발전에도 불구하고 여전히 해결되지 않은 시각 기반 로봇 그립핑의 핵심 과제는 무엇인가?

주요 결과

• 많은 최신 기술의 그립 추정 방법이 종단 간 방식으로 작동하여 명시적인 물체 국소화 및 자세 추정 단계가 필요 없어짐.
• 물체 자세 추정 방법은 종종 국소화와 자세 추정을 하나의 파이프라인에서 통합하여 효율성을 높이고 오차 전파를 줄임.
• 딥 러닝 기반의 물체 국소화 및 그립 감지 방법은 특히 혼잡한 환경에서 전통적 방법에 비해 성능 향상을 크게 달성함.
• RGB-D 데이터의 사용은 특히 6자유도 그립 추정에 있어 더 정확한 깊이 인식 기반의 국소화 및 그립 계획을 가능하게 함.
• 진전이 있었음에도 불구하고, 물체 카테고리 간 일반화, 실시간 추론, 가림 및 조명 변화에 대한 강인성 문제는 여전히 남아 있음.
• 표준화된 데이터셋을 통한 벤치마킹은 특히 소수의 샘플 및 제로샷 일반화 시나리오에서 방법 간 일관된 성능 격차를 드러냄.