[논문 리뷰] Robotic Grasp Detection using Deep Convolutional Neural Networks

Sulabh Kumra, Christopher Kanan|arXiv (Cornell University)|2016. 11. 24.

Robot Manipulation and Learning참고 문헌 31인용 수 30

한 줄 요약

이 논문은 실시간으로 병렬 플레이트 로봇 그립퍼를 위한 최적의 그립 포즈를 탐지하기 위해 RGB 및 깊이 영상을 사용하는 다중모달 딥 컨volution 신경망(DCNN)을 제안한다. 두 개의 50층 잔차 신경망(각각 RGB용, 깊이용)에서 추출한 특징을 융합함으로써, Cornell Grasp Dataset에서 89.21%의 정확도를 달성하여 이전 최고 성능 기법을 뛰어넘으며, 9.71 fps로 실행된다.

ABSTRACT

Deep learning has significantly advanced computer vision and natural language processing. While there have been some successes in robotics using deep learning, it has not been widely adopted. In this paper, we present a novel robotic grasp detection system that predicts the best grasping pose of a parallel-plate robotic gripper for novel objects using the RGB-D image of the scene. The proposed model uses a deep convolutional neural network to extract features from the scene and then uses a shallow convolutional neural network to predict the grasp configuration for the object of interest. Our multi-modal model achieved an accuracy of 89.21% on the standard Cornell Grasp Dataset and runs at real-time speeds. This redefines the state-of-the-art for robotic grasp detection.

연구 동기 및 목표

• RGB-D 영상로 새로운 물체에 대한 최적의 그립 포즈를 예측하는 실시간 로봇 그립 탐지 시스템을 개발한다.
• 딥 잔차 신경망과 다중모달 입력(RGB 및 깊이)을 활용하여 기존의 그립 탐지 방법을 향상시킨다.
• Cornell Grasp Dataset에서 이전 최고 성능 기법보다 더 높은 정확도와 더 빠른 추론 속도를 달성한다.
• 다양한 데이터 분할 조건에서 단모달(RGB 전용) 및 다중모달(RGB-D) 모델의 성능을 평가한다.
• 수정된 이진 출력 헤드를 통해 모델을 활용해 그립 가능성을 예측할 수 있는지 탐색한다.

제안 방법

• ImageNet에서 미리 훈련된 두 개의 50층 딥 잔차 신경망(ResNet-50)을 사용하며, 하나는 RGB 영상 처리, 다른 하나는 깊이 맵 처리를 담당한다.
• 두 네트워크의 특징 맵을 연결(concatenation)하여 시나리오의 통합 표현을 형성한다.
• 융합된 특징을 통해 다섯 차원의 그립 구성( x, y, θ, width, score)을 예측하는 얕은 컨볼루션 네트워크를 통과시킨다.
• 제한된 그립 데이터에서 특징 학습을 향상시키기 위해 ImageNet에서 미리 훈련된 가중치로 네트워크를 초기화함으로써 전이 학습을 적용한다.
• 최종 레이어를 이진 밀집 레이어로 수정하고 소프트맥스 활성화 함수를 사용하여 그립 가능성(그립 가능 vs. 불가능)을 예측하며, 93.4%의 정확도를 달성한다.
• 일반화 성능 평가를 위해 이미지 기반 및 물체 기반 데이터 분할을 모두 사용하여 모델을 훈련하고 평가한다.

실험 결과

연구 질문

• RQ1 RGB 및 깊이 입력을 사용하는 딥 다중모달 DCNN 아키텍처가 기존 최고 성능 기법보다 로봇 그립 탐지 정확도에서 뛰어나게 작동할 수 있는가?
• RQ2 RGB 전용 모델과 비교했을 때 깊이 데이터의 포함 여부가 그립 탐지 성능에 어떤 영향을 미치는가?
• RQ3 스킵 연결을 갖춘 더 깊은 잔차 신경망은 얕은 아키텍처에 비해 그립 특징 학습에 얼마나 더 효과적인가?
• RQ4 훈련 중에 보지 못한 새로운 물체에 대해 모델이 일반화할 수 있는가, 특히 물체 기반 데이터 분할 조건에서?
• RQ5 수정된 출력 레이어를 통해 높은 정확도로 그립 가능성(이진 분류)을 예측할 수 있는가?

주요 결과

• 제안된 다중모달 DCNN는 Cornell Grasp Dataset에서 89.21%의 정확도를 달성하여, 이미지 기반 분할에서는 이전 작업 대비 14.94% 향상되었고, 물체 기반 분할에서는 13.36% 향상되었다.
• 모델는 9.71 프레임 매초로 실행되어, Lenz 등(0.02 fps)과 Redmon 등(3.31 fps)의 이전 방법보다 훨씬 빠르며, 실시간 그립 탐지가 가능하다.
• 다중모달 모델는 단모달 RGB 전용 모델보다 성능이 뛰어나며, 특히 물체 기반 분할에서 그립 성능 향상이 두드러져 깊이 정보의 일반화에 기여하는 바가 크다는 것을 입증한다.
• 수정된 그립 가능성 예측 헤드는 93.4%의 정확도를 달성하여 현재까지의 그립 가능성 분류 최고 성능 수준을 유지한다.
• 시각적 비교(그림 9)에서는 다중모달 모델이 단모달 모델가 실패하는 경우(깊이 정보나 복잡한 물체 방향성에 의존하는 경우)에도 유효한 그립을 탐지하는 것으로 나타났다.
• 거짓 음성 결과는 주로 깊이 특징이 모호한 경우(예: 슬리퍼 끈) 또는 자세 예측이 잘못된 경우에 발생하여, 깊이 인식 능력과 회전 일반화 능력의 한계를 보여준다.