[논문 리뷰] Jacquard: A Large Scale Dataset for Robotic Grasp Detection

Amaury Depierre, Emmanuel Dellandréa외 1명|arXiv (Cornell University)|2018. 03. 30.

Robot Manipulation and Learning참고 문헌 15인용 수 18

한 줄 요약

이 논문은 물리 기반 시뮬레이션을 통해 현실적인 환경에서 생성된 100만 개 이상의 애너테이션된 그립 위치를 포함하는 대규모 합성 RGB-D 데이터셋 Jacquard를 소개한다. Jacquard로 훈련된 딥 네ural 네트워크는 Cornell와 같은 더 작은 인간 애너테이션 데이터셋으로 훈련된 경우보다 훨씬 더 우수한 일반화 성능과 실제 세계에서의 그립 성공률(78.43%)을 달성하여, 합성 데이터가 로봇 그립 검출에 효과적임을 입증한다.

ABSTRACT

Grasping skill is a major ability that a wide number of real-life applications require for robotisation. State-of-the-art robotic grasping methods perform prediction of object grasp locations based on deep neural networks. However, such networks require huge amount of labeled data for training making this approach often impracticable in robotics. In this paper, we propose a method to generate a large scale synthetic dataset with ground truth, which we refer to as the Jacquard grasping dataset. Jacquard is built on a subset of ShapeNet, a large CAD models dataset, and contains both RGB-D images and annotations of successful grasping positions based on grasp attempts performed in a simulated environment. We carried out experiments using an off-the-shelf CNN, with three different evaluation metrics, including real grasping robot trials. The results show that Jacquard enables much better generalization skills than a human labeled dataset thanks to its diversity of objects and grasping positions. For the purpose of reproducible research in robotics, we are releasing along with the Jacquard dataset a web interface for researchers to evaluate the successfulness of their grasping position detections using our dataset.

연구 동기 및 목표

• 딥 러닝 모델 훈련을 위한 실제 세계 레이블 데이터의 제한성, 높은 비용, 확장성 부족 문제를 해결한다.
• 시간이 오래 걸리고 그립 위치 및 물체 변형에서의 다양성이 부족한 인간 애너테이션 데이터셋의 한계를 극복한다.
• 물리 시뮬레이션을 활용해 다양하고 현실적이며 정확한 그립 애너테이션을 자동으로 생성할 수 있는 확장 가능한 방법을 개발한다.
• 합성 데이터 증강을 통해 새로운 물체와 복잡한 실제 세계 시나리오에 대한 그립 검출 모델의 일반화 능력을 향상시킨다.
• 웹 인터페이스와 새로운 평가 기준인 시뮬레이션 그립 시험(Simulated Grasp Trial, SGT)을 제공하여 재현 가능하고 표준화된 벤치마크를 지원한다.

제안 방법

• ShapeNet CAD 모델의 일부를 사용하여 합성 데이터셋을 생성하고, 다양한 조명, 질감, 카메라 각도로 현실적인 RGB-D 이미지를 렌더링한다.
• 물리 엔진에서 로봇 그립 시도를 시뮬레이션하여 유효한 그립 위치를 결정하며, 충돌 및 안정성 검사를 수행하는 평행 플레이트 그립퍼 모델을 사용한다.
• 성공적인 시뮬레이션 그립 시도에 기반해 각 이미지에 2차원 그립 사각형(그립퍼 턱을 나타냄)을 애너테이션한다.
• 기하 거리에만 의존하는 것과는 달리, 시뮬레이션 성공 여부에 기반해 그립 품질을 평가하는 시뮬레이션 그립 시험(Simulated Grasp Trial, SGT) 지표를 도입한다.
• Jacquard 합성 데이터셋과 Cornell 인간 애너테이션 데이터셋 양쪽에서 동일한 표준 CNN(AlexNet)을 훈련시어 직접 비교한다.
• 세 가지 지표를 사용해 성능을 평가한다: 사각형 기반 IoU, SGT 기반 성공률, 그리고 Fanuc M-20iA 로봇 암을 사용한 실제 세계 로봇 시험.

실험 결과

연구 질문

• RQ1 물리 기반 시뮬레이션을 통해 생성된 대규모 합성 데이터셋이 더 작은 인간 애너테이션 데이터셋보다 새로운 물체에 대한 그립 검출 일반화 성능에서 뛰어나게 작용할 수 있는가?
• RQ2 전통적인 거리 기반 지표와 비교할 때 시뮬레이션 그립 시험(SGT) 지표는 그립 예측 품질 평가에서 어떤가?
• RQ3 합성 데이터로 훈련된 딥 네럴 네트워크가 실제 세계에서 인간 애너테이션 데이터로 훈련된 모델과 비교해 유사하거나 더 높은 그립 성공률을 달성할 수 있는가?
• RQ4 합성 데이터셋 내의 물체 및 그립 구성의 다양성이 새로운 물체에 대한 제로샷 일반화 성능 향상에 얼마나 기여하는가?
• RQ5 제안된 데이터셋과 평가 프레임워크는 로봇 그립 검출 연구 분야에서 재현 가능하고 표준화된 벤치마크를 지원할 수 있는가?

주요 결과

• Jacquard 데이터셋으로 훈련된 CNN은 시뮬레이션 그립 시험(SGT) 기준으로 72.42%의 그립 성공률를 기록했고, 이는 같은 네트워크가 Cornell 데이터셋으로 훈련된 경우 42.76%에 그친다.
• 실제 세계 로봇 시험에서 Jacquard로 훈련된 모델은 78.43%의 그립 성공률를 기록했고, 이는 Cornell로 훈련된 모델의 60.46% 성공률를 뛰어넘는 성과이다.
• Jacquard로 훈련된 모델는 새로운 물체에 대해 훨씬 더 뛰어난 일반화 능력을 보였으며, Cornell로 훈련된 모델이 Jacquard 전체 데이터셋에서 54.28%의 정확도를 기록했을 때, 기준 성능에서 20포인트 감소한 결과를 보였다.
• SGT 지표는 IoU 기반으로 잘못된 것으로 분류된 많은 예측들이 시각적으로 타당하고 시뮬레이션에서 실제로 성공한 경우가 많다는 점을 드러내어, 거리 기반 지표의 한계를 보여준다.
• 합성 데이터와 인간 애너테이션 데이터로 훈련된 모델 간의 실제 세계 성능 격차는 뚜렷했으며, Jacquard로 훈련된 모델은 물리적 시험에서 17.97%포인트 높은 성공률를 기록했다.
• 결과적으로, 다양한 물체 형태, 재질, 그립 구성이 포함된 합성 데이터는 제한된 인간 레이블 데이터조차도 더 나은 일반화 성능을 가능하게 하며, 이는 조건이 더 정확할지라도 여전히 합성 데이터의 우수성을 확인한다.