[논문 리뷰] Shape Completion Enabled Robotic Grasping

Jacob Varley, Chad DeChant외 3명|arXiv (Cornell University)|2016. 09. 27.

Robot Manipulation and Learning참고 문헌 23인용 수 11

한 줄 요약

이 논문은 단일 시점 2.5D 포인트 클라우드로부터 형상 보완을 이용해 로봇 집기 계획을 위한 3D 컨volution 신경망(CNN) 기반 프레임워크를 제안한다. 이 방법은 0.1초 미만의 시간에 부족한 물체 기하학을 보완하여 정확한 집기 계획을 가능하게 하며, 실제 실험에서 93.33%의 집기 성공률를 달성하여 기준 방법보다 20% 높고, 거울 기반 보완 방식과 비교해 관절 오차를 18% 감소시켰다.

ABSTRACT

This work provides an architecture to enable robotic grasp planning via shape completion. Shape completion is accomplished through the use of a 3D convolutional neural network (CNN). The network is trained on our own new open source dataset of over 440,000 3D exemplars captured from varying viewpoints. At runtime, a 2.5D pointcloud captured from a single point of view is fed into the CNN, which fills in the occluded regions of the scene, allowing grasps to be planned and executed on the completed object. Runtime shape completion is very rapid because most of the computational costs of shape completion are borne during offline training. We explore how the quality of completions vary based on several factors. These include whether or not the object being completed existed in the training data and how many object models were used to train the network. We also look at the ability of the network to generalize to novel objects allowing the system to complete previously unseen objects at runtime. Finally, experimentation is done both in simulation and on actual robotic hardware to explore the relationship between completion quality and the utility of the completed mesh model for grasping.

연구 동기 및 목표

• 부족한 관측과 완전하지 않은 3D 센싱으로 인한 오염으로 인한 로봇 집기 계획 과제를 해결하기 위해.
• 딥 러닝을 이용해 단일 시점에서 3D 물체의 빠른 정확한 형상 보완을 가능하게 하기 위해.
• 부분적인 포인트 클라우드에서 완전하고 고품질의 메시 재구성을 생성함으로써 집기 계획 성능을 향상시키기 위해.
• 실제 로봇 시스템에서 새로운 및 미리 보지 않은 물체에 적용 가능한 확장성 있고 일반화 가능한 프레임워크를 개발하기 위해.
• 재현 가능성을 지원하고 향후 형상 보완 분야의 연구를 지원하기 위해 오픈소스 데이터셋과 코드베이스를 제공하기 위해.

제안 방법

• 440,000개의 합성 40³ 볼륨 메쉬 쌍이 3D 메시 모델의 렌더링된 깊이 이미지에서 유도된 3D CNN을 훈련한다.
• 추론 중에 단일 시점 2.5D 포인트 클라우드가 점유 메시로 변환되며, 가림된 영역은 빈 공간으로 표시되고, 훈련된 CNN에 입력되어 완전한 점유 메시를 예측한다.
• CNN 출력은 마르칭 큐브를 통해 처리되어 메시를 생성하고, 두 번째 CUDA 가속 후처리 단계를 통해 관측된 포인트 클라우드의 세부 정보를 통합하여 고해상도의 집기 준비 메시를 생성한다.
• 시스템은 장면에서 집기 가능한 물체를 분할하고 개별적으로 처리하며, 비표적 물체를 빠르게 보완하여 충돌 회피를 위한 혼잡한 장면을 지원한다.
• 프레임워크는 시뮬레이션과 실물 로봇 하드웨어(바렛 손과 슈타우블리 TX60 암)를 사용하여 평가된다.
• 훈련은 오프라인으로 수행되어 추론 시 실시간 보완이 가능하며, 평균 보완 시간은 0.1초 이하이다.

실험 결과

연구 질문

• RQ1 딥 러닝 기반 형상 보완 방법이 히우리스틱 또는 대칭 보완 접근 방식에 비해 집기 성공률를 크게 향상시킬 수 있는가?
• RQ2 훈련 데이터셋에 포함되었는지 또는 훈련에 사용된 모델 수에 따라 형상 보완 품질이 어떻게 달라지는가?
• RQ3 추론 중에 새로운, 이전에 본 적 없는 물체에 대해 CNN이 얼마나 잘 일반화되는가?
• RQ4 형상 보완 품질이 실제 로봇 시스템에서 실행된 집기의 정확성과 성공률와 어떤 관련이 있는가?
• RQ5 혼잡한 장면에서 다수의 물체를 효율적으로 보완할 수 있으며, 계획 단계에서 신뢰할 수 있는 충돌 회피를 가능하게 하는가?

주요 결과

• 제안된 방법은 실제 실험에서 93.33%의 집기 성공률를 달성하여 기준 방법보다 20% 향상되었다.
• 계획된 집기 구성을 실행한 결과의 평균 관절 오차는 7.276°였으며, 거울 기반 방법(8.067°)과 비교해 18% 감소했다.
• CNN 추론의 평균 보완 시간은 0.1초 이하였고, 후처리된 메시는 약 2.4초 내에 생성되었다.
• 비표적 물체의 형상 보완을 통해 계획 단계에서 충돌을 방지하는 데 성공했으며, 형상 보완 적용 후에야 충돌이 피할 수 있었던 시나리오에서 이를 입증했다.
• 훈련 데이터에 없던 신규 물체와 시점에 대해서도 뛰어난 일반화 성능를 보였으며, 품질 높은 보완 결과가 관찰되었다.
• 440,000개의 볼륨 메시 쌍과 관련 코드베이스를 포함한 오픈소스 데이터셋을 공개하여 재현 가능성과 향후 연구를 지원했다.