[논문 리뷰] RoI-based Robotic Grasp Detection in Object Overlapping Scenes Using Convolutional Neural Network.

Hanbo Zhang, Xuguang Lan외 2명|arXiv (Cornell University)|2018. 08. 30.

Robot Manipulation and Learning참고 문헌 16인용 수 13

한 줄 요약

이 논문은 겹치는 다중 물체 환경에서 로봇 그립 감지를 위한 영역 관심(Region of Interest, RoI) 기반의 컨볼루션 신경망(CNN) 방법을 제안한다. 이 방법은 대상과 그 그립을 동시에 검출함으로써 성능을 햖थ한다. 새로운 다중 물체 그립 데이터셋에서 1 FPPI에서 24.0%의 미검출률과 70.5%의 mAP를 달성하였으며, 실제 로봇 실험에서는 84%의 그립 성공률을 기록하였다.

ABSTRACT

Grasp detection is an essential skill for widespread use of robots. Recent works demonstrate the advanced performance of Convolutional Neural Network (CNN) on robotic grasp detection. However, a significant shortcoming of existing grasp detection algorithms is that they all ignore the affiliation between grasps and targets. In this paper, we propose a robotic grasp detection algorithm based on Region of Interest (RoI) to simultaneously detect targets and their grasps in object overlapping scenes. Our proposed algorithm uses Regions of Interest (RoIs) to detect grasps while doing classification and location regression of targets. To train the network, we contribute a much bigger multi-object grasp dataset than Cornell Grasp Dataset, which is based on Visual Manipulation Relationship Dataset. Experimental results demonstrate that our algorithm achieves 24.0% miss rate at 1FPPI and 70.5% mAP with grasp on our dataset. Robotic experiments demonstrate that our proposed algorithm can help robots grasp specified target in multi-object scenes at 84% success rate.

연구 동기 및 목표

• 기존의 그립 감지 방법이 그립과 그 대상 물체 간의 관계를 忽略하는 한계를 해결하기 위해.
• 복잡하고 겹치는 다중 물체 환경에서의 로봇 그립 감지 성능을 향상시키기 위해.
• RoI를 활용하여 대상과 그에 해당하는 그립을 동시에 검출하는 통합 프레임워크를 개발하기 위해.
• Visual Manipulation Relationship Dataset 기반으로 더 크고 다양한 다중 물체 그립 데이터셋을 구축하고 공개하기 위해.

제안 방법

• 이 방법은 동시에 대상 분류, 대상 위치 회귀, 그립 검출를 수행할 수 있도록 영역 관심(Region of Interest, RoI) 영역을 사용한다.
• 엔드 투 엔드로 훈련되는 CNN 기반 아키텍처가 각 RoI 내에서 그립 후보, 대상 클래스, 바운딩 박스를 예측하도록 설계된다.
• 새로 구축한 다중 물체 그립 데이터셋을 기반으로 네트워크를 훈련하였으며, 이는 Cornell Grasp Dataset보다 훨씬 크다.
• 각 RoI 내에서 그립 검출를 회귀 과제로 통합함으로써 대상 검출과 그립 예측의 공동 최적화를 가능하게 한다.
• 훈련 데이터는 Visual Manipulation Relationship Dataset에서 유도되어 물체 상호작용의 다양성과 현실성 향상을 도모한다.
• 모델은 영역 제안 네트워크를 활용해 RoI를 생성하고, 이를 바탕으로 물체 인식과 그립 예측을 동시에 처리한다.

실험 결과

연구 질문

• RQ1 RoI 기반의 CNN 프레임워크는 겹치는 다중 물체 환경에서 대상과 그립을 효과적으로 검출할 수 있는가?
• RQ2 더 크고 복잡한 데이터셋에서 제안된 방법의 성능은 기존의 그립 감지 알고리즘과 비교해 어떻게 되는가?
• RQ3 대상과 그립의 동시 검출이 실제 로봇 시스템에서의 그립 성공률 향상에 얼마나 기여하는가?
• RQ4 제안된 방법은 물체가 많은 환경에서의 가림과 혼잡함을 어떻게 처리하는가?

주요 결과

• 제안된 방법은 새로운 다중 물체 그립 데이터셋에서 1 FPPI에서 24.0%의 미검출률을 기록하여 강력한 검출 성능를 입증하였다.
• 모델은 그립 검출에서 평균 평균 정확도(mAP) 70.5%를 달성하여 새로운 데이터셋에서 높은 정확도를 입증하였다.
• 로봇 실험 결과, 다중 물체 환경에서 지정된 대상을 그립하는 데 84%의 성공률을 기록하여 실제 적용 가능성은 검증되었다.
• 신규로 구축한 데이터셋은 Cornell Grasp Dataset보다 훨씬 크며, 일반화 능력 향상과 훈련 안정성 향상에 기여한다.
• RoI 영역 내 그립 검출 통합은 혼잡한 환경에서 검출 일관성 향상과 잡음 감소를 도모한다.
• 검출 정확도와 실제 로봇 그립 성공률 모두에서 베이스라인 방법을 초월하는 성능을 기록하였다.