[논문 리뷰] RoboNet: Large-Scale Multi-Robot Learning

Sudeep Dasari, Frederik Ebert외 7명|Digital Eprints Services at ISB (DESI) (Indian School of Business)|2019. 10. 24.

Domain Adaptation and Few-Shot Learning참고 문헌 60인용 수 16

한 줄 요약

RoboNet는 7종의 로봇 플랫폼에서 수집한 총 1,500만 프레임의 영상 데이터를 바탕으로 일반화 가능한 시각 기반 로봇 조작을 가능하게 하는 대규모 다중 로봇 데이터셋을 소개한다. 이 다양한 데이터에서 시각 예측 모델과 역모델을 사전 학습함으로써, 새로운 로봇, 물체, 시점, 그립퍼에 대해 초기 설정 없이도 뛰어난 성능을 달성하며, 로봇 전용 학습 대비 4배에서 20배 적은 데이터로도 슈퍼리어한 성능을 기록한다.

ABSTRACT

Robot learning has emerged as a promising tool for taming the complexity and diversity of the real world. Methods based on high-capacity models, such as deep networks, hold the promise of providing effective generalization to a wide range of open-world environments. However, these same methods typically require large amounts of diverse training data to generalize effectively. In contrast, most robotic learning experiments are small-scale, single-domain, and single-robot. This leads to a frequent tension in robotic learning: how can we learn generalizable robotic controllers without having to collect impractically large amounts of data for each separate experiment? In this paper, we propose RoboNet, an open database for sharing robotic experience, which provides an initial pool of 15 million video frames, from 7 different robot platforms, and study how it can be used to learn generalizable models for vision-based robotic manipulation. We combine the dataset with two different learning algorithms: visual foresight, which uses forward video prediction models, and supervised inverse models. Our experiments test the learned algorithms' ability to work across new objects, new tasks, new scenes, new camera viewpoints, new grippers, or even entirely new robots. In our final experiment, we find that by pre-training on RoboNet and fine-tuning on data from a held-out Franka or Kuka robot, we can exceed the performance of a robot-specific training approach that uses 4x-20x more data. For videos and data, see the project webpage: https://www.robonet.wiki/

연구 동기 및 목표

• 로봇과 환경 간 대규모 데이터 공유를 통해 로봇 학습의 데이터 효율성과 일반화 능력의 한계를 해결하기 위해.
• 실제 환경에서의 로봇 경험을 쉽게 새로운 하드웨어와 센서에 확장 가능한 스케일러블이고 자기지도 학습 기반의 데이터 수집 파이프라인을 개발하기 위해.
• 사전 학습된 모델이 다양한 다중 로봇 데이터에서 유래한 모델이 새로운 로봇, 물체, 시점, 그립퍼에 대해 최소한의 미세조정으로도 일반화 가능한지 평가하기 위해.
• 공유된 대규모 데이터셋에서의 전이 학습이 기존의 로봇 전용 학습보다 훨씬 적은 데이터로도 뛰어난 성능을 낼 수 있음을 입증하기 위해.

제안 방법

• Sawyer, Franka, Kuka, Baxter, WidowX, Fetch, Google의 로봇를 포함한 7종의 로봇 플랫폼을 사용해 다양한 물체, 시점, 환경에서 총 162,000개의 자율 트레이젝터리를 수집한다.
• 명시적인 보상 또는 레이블 없이도 인간의 간섭을 최소화한 자기지도 학습 기반의 데이터 수집 프로토콜을 사용해 영상 및 동작 시퀀스를 수집한다.
• 행동 조건화 영상 예측을 통해 세계의 동역학을 학습하고 목표 향한 계획을 수행하는 시각 예측 모델을 훈련한다.
• 한 장의 이미지에서 다른 이미지로의 전이를 가능하게 하는 동작을 예측하는 딥 역모델을 훈련하여 목표 이미지 도달을 가능하게 한다.
• 전체 RoboNet 데이터셋에서 모델을 사전 학습하고, 보류된 로봇(예: Franka 또는 Kuka)에서 400개의 트레이젝터리 데이터로 미세조정하여 제로샷 및 소량 학습 일반화 성능을 평가한다.
• 제로샷 및 미세조정 설정을 통해 새로운 물체, 새로운 시점, 새로운 테이블 표면, 새로운 그립퍼, 새로운 로봇 플랫폼에서의 일반화 성능을 평가한다.

실험 결과

연구 질문

• RQ1 대규모 다중 로봇 데이터셋에서 사전 학습된 모델이 추가 학습 없이도 새로운 로봇, 물체, 환경에 일반화할 수 있는가?
• RQ2 다양한 실제 로봇 데이터에서의 사전 학습이 로봇 전용 학습 대비 샘플 효율성을 향상시키는가?
• RQ3 시각 예측 모델과 역모델이 다양한 로봇 하드웨어, 카메라 시점, 그립퍼 유형 간에 얼마나 잘 일반화되는가?
• RQ4 사전 학습된 모델이 새로운 로봇 플랫폼에 적응하기 위해 필요한 최소한의 미세조정 데이터는 얼마인가?
• RQ5 대규모 실세계 데이터에서의 자기지도 학습이 훨씬 더 많은 데이터를 요구하는 도메인 전용 학습을 능가할 수 있는가?

주요 결과

• RoboNet에서 사전 학습한 후 단 400개의 트레이젝터리 데이터로만 미세조정한 모델이 예측 불가능한 로봇(Franka 또는 Kuka)으로도 일반화되어, 로봇 전용 학습 대비 4배에서 20배 더 적은 데이터로도 뛰어난 성능을 달성했다.
• RoboNet에서 미세조정된 모델은 새로운 물체, 새로운 시점, 새로운 테이블 표면에 대해 제로샷으로 일반화되어 광범위한 도메인 일반화 능력을 보였다.
• 5억 파rameter의 영상 예측 모델조차도 RoboNet에서 과소적합을 보였으며, 이는 현재의 아키텍처가 데이터셋의 전체 다양성을 충분히 활용하지 못함을 시사하며, 아키텍처나 데이터 선택 개선이 필요함을 시사한다.
• 결과적으로 대규모 데이터에서의 성능 향상은 모델 용량과 데이터 분포 불일치로 인해 제한되며, 더 나은 모델의 유연성 또는 더 스마트한 데이터 선택이 필요함을 강조한다.
• 이 연구는 기관 간 및 로봇 플랫폼 간 데이터 공유가 실현 가능하고 효과적이며, 몇백 개의 트레이젝터리 데이터로도 새로운 하드웨어에의 적응이 충분히 가능함을 입증한다.