[논문 리뷰] Data-Efficient Learning for Sim-to-Real Robotic Grasping using Deep Point Cloud Prediction Networks

Xinchen Yan, Mohi Khansari외 5명|arXiv (Cornell University)|2019. 06. 21.

Robot Manipulation and Learning참고 문헌 58인용 수 29

한 줄 요약

이 논문은 최소한의 실세계 RGBD 데이터와 시뮬레이션 데이터로부터 도메인 불변 3D 포인트 클라우드 표현을 학습함으로써 실세계에서의 그립 데이터 없이도 데이터 효율적인 시뮬레이션에서 실제 세계로의 로봇 그립 프레임워크를 제안한다. 자기지도 학습 기반의 시야 간 일致성(consistency)을 활용해 3D 형태를 예측함으로써, 실세계 그립 성공률 61%를 달성하였으며, 2.5D 기준선 대비 10% 높은 성능을 보이며 시뮬레이션에서 실제 세계로의 도메인 이탈에도 불구하고 강건한 일반화 능력을 입증한다.

ABSTRACT

Training a deep network policy for robot manipulation is notoriously costly and time consuming as it depends on collecting a significant amount of real world data. To work well in the real world, the policy needs to see many instances of the task, including various object arrangements in the scene as well as variations in object geometry, texture, material, and environmental illumination. In this paper, we propose a method that learns to perform table-top instance grasping of a wide variety of objects while using no real world grasping data, outperforming the baseline using 2.5D shape by 10%. Our method learns 3D point cloud of object, and use that to train a domain-invariant grasping policy. We formulate the learning process as a two-step procedure: 1) Learning a domain-invariant 3D shape representation of objects from about 76K episodes in simulation and about 530 episodes in the real world, where each episode lasts less than a minute and 2) Learning a critic grasping policy in simulation only based on the 3D shape representation from step 1. Our real world data collection in step 1 is both cheaper and faster compared to existing approaches as it only requires taking multiple snapshots of the scene using a RGBD camera. Finally, the learned 3D representation is not specific to grasping, and can potentially be used in other interaction tasks.

연구 동기 및 목표

• 정책 학습을 위한 실세계 로봇 그립 데이터 수집의 높은 비용과 데이터 비효율성 문제를 해결하기 위해.
• 최소한의 실세계 RGBD 관측치로부터 도메인 불변 3D 형태 표현을 학습함으로써 시뮬레이션에서 실제 세계로의 도메인 갭을 줄이기 위해.
• 정책 학습에 오직 시뮬레이션 데이터만을 사용하여 실세계로의 제로샷 전이를 가능하게 하기 위해.
• 다양한 작업을 넘어 그립을 넘어서도 일반화 가능한 경량이며 기하학적 인지 능력이 있는 3D 표현을 개발하기 위해.

제안 방법

• 자기지도 학습 기반의 형태 예측 네트워크는 시야 간 일치성을 지도 신호로 사용하여 단일 시야 RGBD 이미지에서 전체 3D 포인트 클라우드를 재구성한다.
• 이 방법은 동일한 물체의 여러 시점에서의 스냅샷을 활용하여 학습 중 기하학적 일관성을 강제한다.
• 이중 단계 파이프라인을 사용한다: 첫 번째 단계에서는 약 76,000개의 시뮬레이션 에피소드와 약 530개의 실세계 에피소드로부터 도메인 불변 3D 형태 표현을 학습하고, 두 번째 단계에서는 예측된 3D 형태를 사용하여 오직 시뮬레이션에서만 그립 평가 정책을 학습한다.
• 3D 포인트 클라우드 표현은 CEM 기반 정책 네트워크의 입력으로 사용되어 종단 간 그립 정책 최적화를 수행한다.
• 프레임워크는 객체 인스턴스 검출 및 깊이 추정을 위해 Mask-RCNN을 사용하고, 이후 형태 재구성 손실로 훈련된 포인트 클라우드 예측 헤드를 적용한다.
• 실세계 데이터 수집을 최소화하기 위해 상호작용 기반 데이터 수집을 피하고, 에피소드당 1분 미만의 RGBD 스냅샷만을 사용한다.

실험 결과

연구 질문

• RQ1 최소한의 실세계 RGBD 데이터로부터 자기지도 학습 기반 3D 형태 예측 모델이 도메인 불변 표현을 학습할 수 있는가?
• RQ2 예측된 3D 포인트 클라우드를 입력으로 사용할 때, 오직 시뮬레이션 데이터로만 학습된 그립 정책이 실제 세계로 일반화될 수 있는가?
• RQ3 로봇 그립에서 시뮬레이션에서 실제 세계로의 도메인 갭을 줄이기 위해 3D 포인트 클라우드 표현이 2.5D 깊이 입력보다 우월한가?
• RQ4 입력 시야 수가 3D 형태 재구성 품질과 후속 그립 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 실세계에서의 그립 성공률이 61%에 달하며, 이는 실세계 그립 데이터 없이도 작동하며, 2.5D 기준선 대비 10% 높은 성능을 보인다.
• 4개 이상의 시야를 사용할 경우, 미리보지 않은 주방용기 물체에 대해 IOU가 80.3%에 도달하고, 실세계 물체에 대해서는 62.6%를 기록한다.
• 단일 시야만 사용할 경우 성능이 크게 떨어지며(IOU ~0.19), 이는 형태 재구성에 다중 시야 지도의 중요성을 입증한다.
• 예측된 3D 형태를 사용한 정책은 2.5D 기준선보다 더 잘 일반화되며, 실세계에서 성공률이 17% 감소(68%에서 51%로)하는 반면, 3D 표현을 사용할 경우 단지 10% 감소한다.
• 실세계 데이터 수집 비용을 줄이기 위해 상호작용 기반 레이블링을 피하고, 에피소드당 1분 미만의 RGBD 스냅샷만을 사용한다.
• 학습된 3D 표현은 작업에 특화되지 않으며, 그립을 넘어서도 다른 조작 작업에 재사용 가능하다.