[논문 리뷰] SGDN: Segmentation-Based Grasp Detection Network For Unsymmetrical Three-Finger Gripper

Dexin Wang|arXiv (Cornell University)|2020. 05. 17.

Robot Manipulation and Learning참고 문헌 28인용 수 6

한 줄 요약

이 논문은 RGB 이미지를 사용하여 픽셀 수준의 그립을 탐지하기 위한 단일 단계의 세분화 기반 딥러닝 네트워크인 SGDN을 제안한다. 특히 비대칭 3지그립퍼에 특화되어 있으며, 일관된 각도와 너비를 갖는 방향성 기준 고정 삼각형 그립 표현을 도입하여, 재재정의된 Cornell Grasp Dataset의 이미지별 분할에서 96.8%의 정확도와 물체별 분할에서 92.27%의 정확도를 달성한다.

ABSTRACT

In this paper, we present Segmentation-Based Grasp Detection Network (SGDN) to predict a feasible robotic grasping for a unsymmetrical three-finger robotic gripper using RGB images. The feasible grasping of a target should be a collection of grasp regions with the same grasp angle and width. In other words, a simplified planar grasp representation should be pixel-level rather than region-level such as five-dimensional grasp representation.Therefore, we propose a pixel-level grasp representation, oriented base-fixed triangle. It is also more suitable for unsymmetrical three-finger gripper which cannot grasp symmetrically when grasping some objects, the grasp angle is at [0, 2π) instead of [0, π) of parallel plate gripper.In order to predict the appropriate grasp region and its corresponding grasp angle and width in the RGB image, SGDN uses DeepLabv3+ as a feature extractor, and uses a three-channel grasp predictor to predict feasible oriented base-fixed triangle grasp representation of each pixel.On the re-annotated Cornell Grasp Dataset, our model achieves an accuracy of 96.8% and 92.27% on image-wise split and object-wise split respectively, and obtains accurate predictions consistent with the state-of-the-art methods.

연구 동기 및 목표

• 비대칭 3지그립퍼에 부적합한 5차원 직사각형 표현에 의존하는 기존 그립 탐지 방법의 한계를 해결하기 위해.
• 사람들이 추상적인 구성이 아닌 특정 영역을 그립하는 실제 그립 행동을 더 잘 반영하는 픽셀 수준의 그립 표현을 개발하기 위해.
• 각도와 너비를 직접 예측하여 실현 가능한 그립 영역을 개선함으로써 최신 기술 수준의 방법과 비교해 정확도와 일관성을 향상시키는 딥러닝 프레임워크를 설계하기 위해.
• 장애물이 있는 복잡한 다중 물체 환경, 특히 미리 보지 못한 물체 카테고리가 포함된 상황에서도 견고한 그립 탐지 기능을 제공하기 위해.
• 그립 탐지에 세분화 원리를 활용하여 실제 로봇 그립 태스크의 일반화 능력과 성능을 향상시키기 위해.

제안 방법

• 비대칭 3지그립퍼에 적합한 방향성 기준 고정 삼각형 그립 표현을 픽셀 수준의 그립 모델로 제안하며, 각 픽셀이 고정된 각도와 너비를 갖는 그립을 예측한다.
• RGB 이미지에서 다중 척도의 문맥적 특징을 캡처하기 위해 DeepLabv3+를 백본 특징 추출기로 채택한다.
• 각 픽셀에 대해 그립 각도, 너비, 신뢰도 점수를 동시에 예측할 수 있도록 3채널의 그립 예측 헤드를 설계한다.
• 모델의 훈련 및 평가를 위해 새로운 방향성 기준 고정 삼각형 표현을 사용해 Cornell Grasp Dataset을 픽셀 수준에서 재재정의한다.
• 픽셀 수준의 그립 예측을 최적화하는 세그멘테이션 스타일의 손실 함수를 사용해 엔드 투 엔드 학습을 가능하게 한다.
• 신뢰도 맵에 비최대 억제(NMS)를 적용하여 다중 그립 예측을 생성하며, 신뢰도가 0.5 초과인 예측만 선택한다.

실험 결과

연구 질문

• RQ1 기존의 5차원 직사각형 표현에 비해 픽셀 수준의 그립 표현이 실제 그립 행동을 더 잘 모델링할 수 있는가?
• RQ2 RGB 이미지만을 사용할 때, 세그멘테이션 기반 딥러닝 접근법이 비대칭 3지그립퍼의 실현 가능한 그립 영역 탐지에 얼마나 효과적인가?
• RQ3 기존 기준 벤치마크에서 제안된 방향성 기준 고정 삼각형 표현은 기존 방법에 비해 그립 탐지 정확도를 어느 정도 향상시키는가?
• RQ4 장애물이 있거나 이전에 본 적 없는 물체 카테고리가 포함된 복잡한 실제 환경에서 모델의 일반화 능력은 어느 정도인가?
• RQ5 모델의 주요 실패 원인은 무엇이며, 각도 및 너비 추정의 레이블 불완전성 또는 추정의 추상화와 어떤 관련이 있는가?

주요 결과

• SGDN은 재재정의된 Cornell Grasp Dataset의 이미지별 분할에서 96.8%의 정확도, 물체별 분할에서 92.27%의 정확도를 달성한다.
• 모델은 각 물체에 대해 다수의 실현 가능한 그립을 성공적으로 탐지하며, 시각화 결과에서 예측된 그립 영역이 거의 모든 레이블된 그립 영역을 커버한다.
• 장애물과 미리 보지 못한 물체 카테고리(예: 필기 브러시, 헤드폰 케이스)가 있는 상황에서도 SGDN은 복잡한 다중 물체 환경에서 잘 일반화되며 높은 성능을 유지한다.
• 거짓 탐지의 주요 원인은 그립 좌표가 올바른 경우에도 잘못된 각도 또는 너비 예측에 기인하며, 이는 각도 및 너비 회귀의 한계를 시사한다.
• 모델은 실시간 생성형 그립 파이프라인에서 실행 가능하고 견고하며, 예측 결과가 직접적으로 실제 로봇 실행으로 매핑될 수 있음을 보여준다.
• 세그멘테이션 기반 예측 방식을 사용함으로써 기존의 5차원 회귀 기반 그립 탐지 방법보다 더 정확하고 일관성 있는 결과를 도출한다.