[논문 리뷰] Deep Robotic Prediction with hierarchical RGB-D Fusion

Yaoxian Song, Jun Wen외 2명|arXiv (Cornell University)|2019. 09. 14.

Robot Manipulation and Learning참고 문헌 34인용 수 4

한 줄 요약

이 논문은 눈-핸드 카메라에서의 부분 관측만을 사용하여 비구조적인 3차원 환경에서 실시간 로봇 집기 작업을 수행하기 위해 계층적인 RGB-D 융합 네트워크인 UG-Net V3을 제안한다. 깊이 불확실성의 정량화와 다중 척도에서의 RGB 및 깊이 특징 융합을 통해 ICP나 3차원 재구성에 의존하지 않고도 90% 이상의 집기 성공률를 달성하며, 테이블탑 및 3차원 시나리오 모두에서 최신 기술을 능가한다.

ABSTRACT

Robotic arm grasping is a fundamental operation in robotic control task goals. Most current methods for robotic grasping focus on RGB-D policy in the table surface scenario or 3D point cloud analysis and inference in the 3D space. Comparing to these methods, we propose a novel real-time multimodal hierarchical encoder-decoder neural network that fuses RGB and depth data to realize robotic humanoid grasping in 3D space with only partial observation. The quantification of raw depth data's uncertainty and depth estimation fusing RGB is considered. We develop a general labeling method to label ground-truth on common RGB-D datasets. We evaluate the effectiveness and performance of our method on a physical robot setup and our method achieves over 90\% success rate in both table surface and 3D space scenarios.

연구 동기 및 목표

• 눈-핸드 카메라 시스템에서의 부분 관측만으로 비구조적인 3차원 환경에서 견고한 로봇 집기 작업을 가능하게 하기 위해.
• 단일 모odal 방법(예: RGB 또는 깊이 전용)의 한계를 해결하기 위해 다중 모달 데이터 융합을 통해 노이즈와 불확실성을 감소시키기 위해.
• 시간이 오래 소요되는 단계인 ICP나 3차원 재구성 단계를 건너뛰는 새로운 엔드 투 엔드 딥 러닝 프레임워크를 개발하기 위해.
• 기존의 RGB-D 데이터셋에 마스크가 포함된 상태에서 인간의 레이블링이 없는 일반적인 레이블링 방법을 개발하여 집기 네트워크를 훈련시키기 위해.
• 원시 깊이 데이터의 불확실성 정량화와 RGB-D 융합을 통한 깊이 재구성으로 인해 집기 신뢰도를 향상시키기 위해.

제안 방법

• 다중 척도에서 RGB와 깊이 특징을 융합하기 위해 계층적인 인코더-디코더 신경망인 UG-Net V3을 제안하여 견고한 집기 예측을 수행한다.
• 원시 깊이 이미지의 불확실성을 정량화하고 RGB 특징을 사용하여 누락된 깊이 값을 복원하기 위해 신뢰도 네트워크를 도입한다.
• 6차원 물체 자세(x,y,z,γx,βy,αz), 그립퍼 방향, 개방 너비를 조합한 새로운 8차원 집기 표현 방식을 사용한다.
• 깊이 이미지에서 복잡한 배경의 간섭을 줄이기 위해 배경 추출 모듈을 적용한다.
• 가능한 경우 표면 법선 추정을 통해 그립퍼의 방향을 대상 물체의 표면 법선과 정렬한다.
• 예측된 집기 포인트를 픽셀 공간에서 3차원 자세 및 그립퍼 제어 명령어로 변환하는 실시간 추론 파이프라인을 사용한다.

실험 결과

연구 질문

• RQ1 부분 관측 3차원 환경에서 RGB와 깊이 특징의 계층적 융합이 로봇 집기 성능을 향상시킬 수 있는가?
• RQ2 원시 깊이 데이터의 불확실성 정량화가 집기 정책의 견고성에 어떤 영향을 미치는가?
• RQ3 RGB-D 융합을 통해 ICP나 3차원 재구성의 필요성을 제거할 수 있는가, 동시에 높은 집기 성공률를 유지할 수 있는가?
• RQ4 관측 시점(피치 각도)이 부분 관측 시나리오에서의 집기 성능에 어떤 영향을 미치는가?
• RQ5 기존의 RGB-D 데이터셋에 객체 마스크가 포함된 상태에서 인간 레이블링이 없는 일반적인 레이블링 방법을 개발할 수 있는가?

주요 결과

• 제안된 방법은 표준 테스트 세트에서 95% ± 1%의 성공률을 달성하였으며, 테이블탑 및 3차원 시나리오 모두에서 90% 이상을 기록하였다.
• 제거 분석 결과, 신뢰도 네트워크와 배경 추출 모듈을 결합함으로써 테스트 세트의 성공률가 79%에서 95%로 향상됨을 확인하였다.
• GQ-CNN(80% 성공률)과 GG-CNN(84% ± 8%)에 비해 성공률와 견고성 면에서 뛰어난 성능을 보였다.
• 평균 추론 시간은 단지 32ms이며, GQ-CNN(800ms)보다 훨씬 빠르게 실시간 배포에 적합하다.
• 모델 크기는 19.6MB로, GQ-CNN(75MB)보다 훨씬 효율적이어서 자원 제약이 있는 시스템에의 배포가 가능하다.
• 주택 테스트 세트에서 97% ± 1%의 높은 견고한 집기 성공률(RGR)을 달성하여 다양한 조건에서도 높은 신뢰성을 입증하였다.