[논문 리뷰] GraspNet: A Large-Scale Clustered and Densely Annotated Datase for Object Grasping.

Hao-Shu Fang, Chenxi Wang외 2명|arXiv (Cornell University)|2019. 12. 31.

Robot Manipulation and Learning참고 문헌 28인용 수 7

한 줄 요약

이 논문은 87,040장의 RGBD 이미지와 370만 개 이상의 애너테이션된 그립 포즈를 포함한 대규모 RGBD 데이터셋인 GraspNet을 소개한다. 이는 군집된 환경에서 물체를 그립하는 데 목적을 두고 있다. 또한, 수동으로 정확한 포즈 레이블을 제공하지 않아도 되는 분석적 계산을 통해 그립 성공 여부를 결정하는 통합 평가 체계를 제안하여, 그립 포즈 검출 모델의 효율적이고 정확한 벤치마킹을 가능하게 한다.

ABSTRACT

Object grasping is critical for many applications, which is also a challenging computer vision problem. However, for the clustered scene, current researches suffer from the problems of insufficient training data and the lacking of evaluation benchmarks. In this work, we contribute a large-scale grasp pose detection dataset with a unified evaluation system. Our dataset contains 87,040 RGBD images with over 370 million grasp poses. Meanwhile, our evaluation system directly reports whether a grasping is successful or not by analytic computation, which is able to evaluate any kind of grasp poses without exhausted labeling pose ground-truth. We conduct extensive experiments to show that our dataset and evaluation system can align well with real-world experiments. Our dataset, source code and models will be made publicly available.

연구 동기 및 목표

• 군집된 환경에서 물체 그립을 위한 충분한 훈련 데이터와 표준화된 벤치마크의 부족을 해결하기 위해.
• 실제 로봇 조작 환경에서 흔히 볼 수 있는 복잡하고 혼잡한 환경을 잘 반영하는 대규모, 밀도 높은 애너테이션 데이터셋을 개발하기 위해.
• 수동으로 정확한 포즈 레이블을 제공하지 않아도 되는 분석적 계산을 통해 그립 성공 여부를 판단하는 통합 평가 체계를 만들기 위해.
• 데이터셋과 평가 프레임워크를 실제 로봇 그립 성능과 밀접하게 맞추기 위해.

제안 방법

• 로봇 암을 사용해 실제 환경의 다수의 물체가 있는 장면에서 데이터셋을 수집하여 총 87,040장의 RGBD 이미지를 확보하였다.
• 각 이미지는 합성 생성과 실제 레이블링의 조합을 통해 370만 개 이상의 그립 포즈로 밀도 높게 애너테이션되었다.
• 물리적 상호작용을 시뮬레이션하여 분석적으로 그립 성공 여부를 계산하는 새로운 평가 체계를 도입하여 인간이 레이블링한 포즈 정확도에 의존하지 않도록 하였다.
• 모든 그립 포즈 예측 방법을 지원하며 기하학적 및 물리적 타당성 기반으로 성공 또는 실패를 보고한다.
• 딥러닝 모델의 혼잡한 환경에서의 그립 탐지 훈련 및 평가를 지원하도록 데이터셋을 구성하였다.
• 전체 데이터셋, 코드, 학습된 모델은 공개되어 재현성과 향후 연구를 지원한다.

실험 결과

연구 질문

• RQ1 어떻게 대규모, 군집화된, 밀도 높은 RGBD 데이터셋을 구성하여 물체 그립 연구를 지원할 수 있는가?
• RQ2 사람이 레이블링한 기준 포즈가 없이도 분석적 평가 체계가 그립 성공 여부를 정확히 판단할 수 있는가?
• RQ3 제안된 데이터셋과 평가 체계가 실제 로봇 그립 성능과 어느 정도 일치하는가?
• RQ4 GraspNet에서 훈련된 그립 탐지 모델의 성능은 실제 환경에 배포했을 때 얼마나 일반화되는가?

주요 결과

• GraspNet 데이터셋은 87,040장의 RGBD 이미지와 370만 개 이상의 애너테이션된 그립 포즈를 포함하여 물체 그립 분야에서 가장 큰 데이터셋 중 하나이다.
• 분석적 평가 체계는 포즈 정확도에 대한 수동 레이블링이 필요 없이 그립 성공 여부를 성공적으로 판단하여 애너테이션 비용을 크게 절감하였다.
• 광범위한 실험을 통해 데이터셋의 평가 결과와 실제 로봇 그립 성과 사이에 강력한 일치가 있음을 입증하였다.
• 이 데이터셋과 평가 프레임워크는 다양한 혼잡한 환경에서 그립 탐지 모델의 신뢰성 있고 효율적인 벤치마킹을 가능하게 하였다.