[논문 리뷰] Deep Grasp: Detection and Localization of Grasps with Deep Neural Networks.

Fu-Jen Chu, Ruinian Xu외 1명|arXiv (Cornell University)|2018. 02. 01.

Robot Manipulation and Learning참고 문헌 26인용 수 34

한 줄 요약

이 논문은 RGB-D 이미지를 사용하여 단일 또는 다중 신규 객체에서 그립 포인트를 탐지하고 국소화하는 딥 신경망인 Deep Grasp를 제안한다. 그립 회귀 문제를 null 가설 경쟁을 통한 분류 문제로 재구성함으로써, 이미지별 및 객체별 분할 조건에서 Cornell 데이터셋에서 각각 96.0% 및 96.1%의 정확도를 달성하며, 하나 또는 다수의 객체가 존재하는 복잡한 실제 환경에서 최신 기술을 능가한다.

ABSTRACT

A deep learning architecture is proposed to predict graspable locations for robotic manipulation. We consider a more realistic situation that none or multiple objects can be in a scene. By transforming grasp configuration regression into classification problem with null hypothesis competition, the deep neural network with RGB-D image input predicts multiple grasp candidates on a single unseen object, as well as predict grasp candidates on multiple novel objects in a single shot. We perform extensive experiments with our framework on different scenarios, including no object, single object, and multi-objects. We compare with state-of-the-art approaches on Cornell dataset, and show we can achieve 96.0\% and 96.1\% accuracy on image-wise split and object-wise split, respectively.

연구 동기 및 목표

• 장면에 객체가 없거나 다수의 새로운 객체가 존재하는 현실적인 로봇 조작 시나리오에서 그립 가능한 위치를 탐지하는 문제를 해결하기 위해.
• 학습 중에 볼 수 없었던 객체가 존재하는 비구조적 환경에서 그립 탐지의 강건성과 일반화 능력을 향상시키기 위해.
• 사전에 객체 세그멘테이션 또는 인스턴스 수준의 애너테이션을 필요로 하지 않고, 한 번의 추론으로 장면당 다수의 그립 후보를 예측할 수 있는 단일 스텝 추론 프레임워크를 개발하기 위해.
• 이미지-wise 및 객체-wise 평가 분할 조건에서 기존 최신 기술 대비 표준 벤치마크(예: Cornell 데이터셋)에서 성능을 뛰어나게 하기 위해.

제안 방법

• 장면에 객체가 없는 경우를 처리하기 위해 그립 공간을 이산화하고 '그립 없음'을 위한 null 가설을 도입함으로써, 그립 구성 회귀 과제를 분류 문제로 변환한다.
• RGB-D 입력을 사용하는 깊이 컨볼루션 신경망(CNN)을 활용하여 한 번의 전방 전파에서 다수의 객체에 걸쳐 그립 위치, 각도, 너비를 포함한 그립 후보를 예측한다.
• 그립 클래스 예측을 위한 크로스 엔트로피와 바운딩 박스 정밀화를 위한 회귀 손실을 조합한 손실 함수를 사용하여 엔드 투 엔드 학습을 가능하게 한다.
• 중복된 그립 예측을 필터링하고 최상의 품질 후보를 선택하기 위해 비최대 억제 및 신뢰도 임계값 처리를 적용한다.
• 학습 중에 볼 수 없었던 객체로의 일반화 능력을 향상시키기 위해 데이터 증강 및 합성 데이터 생성 기법을 활용한다.
• 작은 또는 혼잡한 객체에서 정확도를 향상시키기 위해 다중 해상도 특징 추출 모듈을 도입한다.

실험 결과

연구 질문

• RQ1 딥 러닝 모델은 단일 추론 패스에서 단일 또는 다수의 새로운 객체에 대해 다수의 그립 후보를 효과적으로 탐지하고 국소화할 수 있는가?
• RQ2 제안된 null 가설 경쟁 메커니즘이 객체가 없는 장면이나 모호한 객체 구성이 있는 장면에서 그립 탐지 성능을 어떻게 향상시키는가?
• RQ3 기존 최신 기술 대비 표준 벤치마크에서 볼 수 없는 객체로의 일반화 능력은 어느 정도 향상되는가?
• RQ4 RGB-D 입력을 사용할 경우, 혼잡한 장면에서 그립 탐지 정확도와 강건성에 어떤 영향을 미치는가?
• RQ5 이중 이미지-wise 및 객체-wise 평가 분할 조건에서 모델의 성능은 어떻게 평가되며, 이는 다양한 테스트 프로토콜에서의 일반화 능력과 신뢰성에 어떤 의미를 갖는가?

주요 결과

• 제안된 Deep Grasp 프레임워크는 이미지-wise 분할 조건에서 Cornell 데이터셋에서 96.0%의 정확도를 달성하여 표준 벤치마크 평가에서 뛰어난 성능을 보였다.
• 객체-wise 분할 조건에서 96.1%의 정확도를 확보하여 학습 중에 볼 수 없었던 새로운 객체로의 강건한 일반화 능력을 보였다.
• 다수의 객체가 존재하는 장면에서도 다수의 그립 후보를 성공적으로 탐지하였으며, 인스턴스 수준의 세그멘테이션을 요구하지 않음에도 불구하고 높은 정밀도와 재현율을 유지하였다.
• '그립 없음'을 위한 null 가설 통합이 객체가 없는 장면에서 성능을 크게 향상시켜 임의의 오진을 감소시켰다.
• 데이터 증강과 RGB-D 입력으로부터 공간적 및 기하학적 특징을 학습할 수 있는 아키텍처의 능력 덕분에, 볼 수 없었던 객체로의 일반화 능력이 뛰어났다.
• 특히 다수의 객체가 존재하거나 객체가 없는 도전적인 상황에서 기존 방법에 비해 최신 기술 수준의 성능을 달성하였다.