[논문 리뷰] Vision-based Robotic Grasp Detection From Object Localization, Object Pose Estimation To Grasp Estimation: A Review

Guoguang Du, Kai Wang외 2명|arXiv (Cornell University)|2019. 05. 16.

Robot Manipulation and Learning참고 문헌 134인용 수 7

한 줄 요약

이 종합 검토는 RGB-D 입력을 사용하여 시각 기반 로봇 그립 감지 기술을 체계적으로 분석함으로써 세 가지 핵심 작업인 물체 국소화, 6자유도 물체 자세 추정, 그리고 그립 추정을 다룹니다. 기존 방법과 딥 러닝 기반 방법을 이들 작업 간에 비교하고, 종단간 접근 방식을 강조하며, 로봇 그립 감지 분야의 최신 기술, 데이터셋, 열린 과제를 요약합니다.

ABSTRACT

This paper presents a comprehensive survey on vision-based robotic grasp detection methods. We concluded three key tasks during robotic grasping, which are object localization, object pose estimation and grasp estimation. In detail, object localization task contains object localization without classification, object detection and object instance segmentation. This task provides the regions of the target object in the input data. Object pose estimation mainly refers to estimating the 6D object pose and includes correspondence-based methods, template-based methods and voting-based methods, which affords the generation of grasp poses. Grasp estimation includes 2D planar grasp methods and 6DoF grasp methods, where the former is constrained to grasp from one direction. All the above subtasks are reviewed with traditional methods and latest deep learning-based methods based on the RGB-D image inputs. These three subtasks could accomplish the robotic grasping task with different combinations. Some object pose estimation methods need not object localization, and they conduct object localization and object pose estimation jointly. Some grasp estimation methods need not object localization and object pose estimation, and they conduct grasp estimation in an end-to-end manner. These methods are reviewed elaborately in this survey and related datasets and comparisons between state-of-the-art methods are summarized. In addition, challenges about vision-based robotic grasping, and future directions in addressing these challenges are also pointed out.

연구 동기 및 목표

• 시각 기반 로봇 그립 감지 기술을 세 가지 핵심 작업으로 분해함으로써 체계적인 개요를 제공하기 위해: 물체 국소화, 물체 자세 추정, 그리고 그립 추정.
• RGB-D 이미지 입력을 기반으로 각 하위작업에 대해 기존 방법과 딥 러닝 기반 방법을 분석하고 비교하기 위해.
• 통합 국소화-자세 추정 및 종단간 그립 예측과 같은 방법론적 추세를 식별하고 성능를 평가하기 위해.
• 최신 기술에 대한 공개된 데이터셋과 벤치마크 결과를 요약하기 위해.
• 현재 문헌에서 확인된 지속적인 과제와 향후 연구 방향을 제안하기 위해.

제안 방법

• 물체 국소화를 세 가지 하위 유형으로 분류함: 분류 없이 국소화, 물체 검출, 인스턴스 세그멘테이션으로, 모두 RGB-D 데이터 내 물체 영역을 식별하는 데 목적이 있음.
• 6자유도 물체 자세 추정 방법을 세 가지 범주로 분류함: 대응 기반(예: ICP, RANSAC), 템플릿 기반(예: 3D 모델 사용), 투표 기반(예: 후후 유사 방법)으로 자세 회귀를 위한 방법으로 나뉨.
• 그립 추정을 2차원 평면 그립(단일 방향)과 6자유도 그립(전체 공간 자세)으로 분류하며, 전통적인 기하학적 접근에서부터 딥 러닝 기반 회귀에 이르기까지 다양한 방법 포함.
• 명시적인 국소화 및 자세 추정 단계를 생략하고 입력 이미지에서 직접 그립 후보를 예측하는 종단간 그립 감지 방법을 분석함.
• 표준 벤치마크와 데이터셋을 활용하여 성능을 평가함으로써, 다양한 시나리오에서 정확도, 추론 속도, 내성성의 비교를 수행함.
• 모든 작업 간의 통합된 발견을 종합하며, 전체 로봇 그립 파이프라인에서 국소화, 자세 추정, 그립 추정 간의 상호작용을 강조함.

실험 결과

연구 질문

• RQ1 RGB-D 데이터를 사용할 때 기존 방법과 딥 러닝 기반 방법은 물체 국소화, 자세 추정, 그립 예측에서 어떻게 비교되는가?
• RQ2 모듈러 접근 방식(별도의 국소화, 자세 추정, 그립 추정)과 종단간 그립 감지 방식 사이의 상호 교환 관계는 무엇인가?
• RQ3 대응 기반, 템플릿 기반, 투표 기반 중 어느 범주가 6자유도 물체 자세 추정에서 가장 높은 정확도를 달성하는가?
• RQ4 2차원 평면 그립 방법은 6자유도 그립 추정 방법과 성능 및 적용 가능성에서 어떻게 다를까?
• RQ5 현재 문헌에서 확인된 시각 기반 로봇 그립 감지 분야의 주요 과제와 열린 연구 방향은 무엇인가?

주요 결과

• 충분한 훈련 데이터가 확보된 경우, 딥 러닝 기반 방법은 기존 방법에 비해 물체 국소화, 자세 추정, 그립 예측에서 뚜렷한 성능 향상을 보임.
• 종단간 그립 감지 방법은 물체 국소화 및 자세 추정과 같은 중간 단계에 대한 의존도를 감소시켜 혼잡한 환경에서 추론 속도와 내성성을 향상시킴.
• 정확한 3D 물체 모델이 확보된 경우, RANSAC 및 ICP를 사용하는 대응 기반 방법은 여전히 6자유도 자세 추정에 효과적임.
• 템플릿 기반 방법은 알려진 물체 모델이 있는 제어된 환경에서는 뛰어난 성능을 보이지만, 가림 및 변형에 취약함.
• 투표 기반 방법은 노이즈와 부분 관측에 강건하여 실세계 로봇 응용에 적합함.
• 진전이 있었음에도 불구하고, 물체 유형 간 일반화, 가림 처리, 복잡한 환경에서 실시간 성능 달성 등의 과제가 여전히 남아 있음.