[논문 리뷰] An Integrated Simulator and Dataset that Combines Grasping and Vision for Deep Learning

Matthew Veres, Medhat Moussa외 1명|arXiv (Cornell University)|2017. 02. 07.

Robot Manipulation and Learning참고 문헌 16인용 수 7

한 줄 요약

이 논문은 V-REP 플랫폼을 사용하여 시각과 로봇 집게를 융합한 오픈소스 시뮬레이터 및 데이터셋을 제안하며, RGB-D 이미지, 3D 집게 자세, 물체 특성과 함께 50,000개 이상의 실린더형 정밀 집게를 생성한다. 이 시스템은 다수의 컴퓨팅 노드를 통해 데이터 수집을 가능하게 하며, 통합된 감각 피드백과 물체 중심의 집게 표현을 통해 다중 모odal 학습을 지원한다.

ABSTRACT

Deep learning is an established framework for learning hierarchical data representations. While compute power is in abundance, one of the main challenges in applying this framework to robotic grasping has been obtaining the amount of data needed to learn these representations, and structuring the data to the task at hand. Among contemporary approaches in the literature, we highlight key properties that have encouraged the use of deep learning techniques, and in this paper, detail our experience in developing a simulator for collecting cylindrical precision grasps of a multi-fingered dexterous robotic hand.

연구 동기 및 목표

• 시뮬레이션을 활용한 대규모이고 효율적인 데이터 수집을 통해 로봇 집게 분야의 데이터 부족 문제를 해결한다.
• 종합적인 시뮬레이션 프레임워크 내에서 시각(RGB-D)과 촉각 피드백(집게 자세)을 통합하여 엔드 투 엔드 학습을 가능하게 한다.
• V-REP과 분산 컴퓨팅을 활용한 확장성 있고 병렬 처리가 가능한 시뮬레이션 파이프라인을 개발하여 고용량 데이터 생성을 지원한다.
• 딥러닝 모델 훈련을 위한 구조화된 주석이 부여된 재현 가능한 오픈소스 데이터셋을 제공한다.
• 지각 데이터(이미지, 깊이)와 물리적 집게 구성, 물체 역학을 융합하여 다중 모달 학습을 지원한다.

제안 방법

• 시뮬레이터는 Lua 스크립팅을 활용한 V-REP를 사용하여 Barrett Hand와 64개의 물체 클래스를 모델링하여 현실적인 집게 시뮬레이션을 가능하게 한다.
• 물체 중심 기준 프레임에 적용된 회전 행렬을 통해 집게 후보를 생성함으로써 집게 구성의 체계적인 샘플링을 가능하게 한다.
• 시뮬레이션 파이프라인은 세 단계로 구성된다: 사전 처리(물체 설정 및 집게 후보 생성), 실행(센서 데이터 수집과 함께 집게 시뮬레이션), 사후 처리(데이터 필터링 및 정렬).
• 감각 데이터에는 RGB-D 이미지(4채널, 640×480), 18차원의 집게 자세 벡터(손가락 위치 및 법선), 여러 좌표 프레임에 대한 12차원 동차 변환 행렬이 포함된다.
• 물체의 질량 중심, 관성, 질량 등의 물리적 특성은 세계 프레임과 작업 영역 프레임에서 캡처되어 물리적 현실감을 구현한다.
• 데이터는 HDF5 형식으로 저장되며, 이미지, 집게 자세, 물체 특성에 대한 별도의 텐서로 구성되어 딥러닝을 위한 효율적 로딩을 가능하게 한다.

실험 결과

연구 질문

• RQ1 딥러닝을 위한 시각과 로봇 집게를 융합한 확장성 있고 통합된 시뮬레이션 환경을 어떻게 설계할 수 있는가?
• RQ2 데이터 기반 학습을 위한 시뮬레이션 환경에서 집게 구성과 감각 데이터를 가장 효과적으로 표현하는 방법은 무엇인가?
• RQ3 분산 컴퓨팅을 활용하여 대규모 고품질의 집게 데이터를 효율적으로 수집할 수 있는 방법은 무엇인가?
• RQ4 물체 중심 기준 프레임 표현 방식이 체계적인 집게 후보 생성을 어떻게 가능하게 하는가?
• RQ5 RGB-D, 집게 자세, 물리적 특성 등의 다중 모달 데이터를 어떻게 구조화하여 로봇 조작 분야의 강력한 딥러닝을 지원할 수 있는가?

주요 결과

• 시스템은 총 50,557개의 집게를 성공적으로 생성하였으며, 이는 훈련 세트 32,100개, 검증 세트 3,564개, 테스트 세트 14,693개로 구성되며, 64개의 물체 클래스에 걸쳐 있다.
• 데이터셋은 고해상도 RGB-D 이미지(640×480), 18차원의 집게 자세 벡터, 여러 좌표 프레임에 대한 12차원 변환 행렬을 포함하고 있다.
• 물체의 질량 중심(1×3 벡터), 관성(1×9 벡터), 질량(스칼라) 등의 물리적 특성이 정확하게 캡처되어 각 물체별로 저장되었다.
• 시뮬레이터는 다수의 컴퓨팅 노드를 통해 병렬 데이터 수집을 지원하여 데이터 생성의 효율적 확장이 가능하다.
• 데이터셋은 GitHub와 Zenodo를 통해 오픈소스로 공개되었으며, 코드와 데이터는 https://github.com/mveres01/grasping 및 http://dx.doi.org/10.5683/SP/KL5P5S 에서 접근할 수 있다.
• 사후 처리에도 불구하고 시뮬레이션의 한계로 인해 물리적으로 정확하지 않은 소수의 집게가 잔류할 수 있으며, 이는 데이터셋에 약간의 노이즈를 유발한다.