[논문 리뷰] RLBench: The Robot Learning Benchmark & Learning Environment

Stephen James, Zicong Ma외 2명|arXiv (Cornell University)|2019. 09. 26.

Robot Manipulation and Learning참고 문헌 53인용 수 45

한 줄 요약

RLBench는 프랭카 펜다 로봇 암을 사용하여 풍부한 감각 관측을 제공하는 100개의 고유하고 수작업으로 설계된 로봇 조작 작업을 포함하는 대규모, 오픈소스 벤치마크이자 학습 환경입니다. 웨이포인트 기반 운동 계획을 통해 무한한 시연를 가능하게 하여, 소수의 샘플로 학습, 이터레이션 학습, 강화 학습, 그리고 시뮬레이션에서 실제 환경으로의 전이 연구를 가능하게 하며, 다양한 실제 세계와 유사한 작업에서 표준화된 평가를 제공합니다.

ABSTRACT

We present a challenging new benchmark and learning-environment for robot learning: RLBench. The benchmark features 100 completely unique, hand-designed tasks ranging in difficulty, from simple target reaching and door opening, to longer multi-stage tasks, such as opening an oven and placing a tray in it. We provide an array of both proprioceptive observations and visual observations, which include rgb, depth, and segmentation masks from an over-the-shoulder stereo camera and an eye-in-hand monocular camera. Uniquely, each task comes with an infinite supply of demos through the use of motion planners operating on a series of waypoints given during task creation time; enabling an exciting flurry of demonstration-based learning. RLBench has been designed with scalability in mind; new tasks, along with their motion-planned demos, can be easily created and then verified by a series of tools, allowing users to submit their own tasks to the RLBench task repository. This large-scale benchmark aims to accelerate progress in a number of vision-guided manipulation research areas, including: reinforcement learning, imitation learning, multi-task learning, geometric computer vision, and in particular, few-shot learning. With the benchmark's breadth of tasks and demonstrations, we propose the first large-scale few-shot challenge in robotics. We hope that the scale and diversity of RLBench offers unparalleled research opportunities in the robot learning community and beyond.

연구 동기 및 목표

• 기존의 표준화되고 대규모인 실세계 로봇 조작을 위한 벤치마크가 부족한 문제를 해결하고, 기존의 방법과 학습 기반 방법을 모두 지원합니다.
• 풍부한 감각 입력을 가진 다양한 복잡한 작업에서 시각 유도 조작을 평가하기 위한 확장 가능하고 확장 가능한 플랫폼을 제공합니다.
• 학습된 작업에서 소수의 시연를 통해 새로운 작업으로 일반화해야 하는 대규모 소수의 샘플 학습 도전 과제를 제공합니다.
• 시뮬레이션된 로봇 암을 실제 하드웨어로 쉽게 교체할 수 있도록 함으로써 시뮬레이션에서 실제 환경으로의 전이를 촉진합니다.
• 작업 생성 및 검증을 위한 오픈 소스 도구를 통해 커뮤니티 기반의 벤치마크 확장을 지원합니다.

제안 방법

• 간단한 도달 작업부터 오븐에 트레이를 놓는 것과 같은 다단계 절차까지 포함하는 100개의 수작업으로 설계된 고유한 조작 작업을 설계합니다.
• 각 작업에 프로 prioceptive 피드백(관절 상태), 어깨 위 스테레오 카메라와 눈 위 단일 카메라에서 얻은 RGB, 깊이, 세그멘테이션 마스크 등의 다양한 감각 모odalities를 제공합니다.
• 작업 생성 시 사용자가 정의한 웨이포인트를 기반으로 작동하는 운동 계획기를 사용하여 고품질의 무한한 수의 시연를 생성합니다.
• PyRep를 사용하여 모듈러하고 오픈소스인 도구 체인을 구현하여 RLBench 저장소에 새로운 작업을 신속하고 검증 가능하게 생성 및 제출할 수 있도록 합니다.
• 다양한 학습 철학을 지원하기 위해 시뮬레이션 환경과 함께 시연 데이터를 제공하여 실제 세계의 동역학을 정밀하게 반영합니다.
• 단 한 줄의 코드 변경만으로도 시뮬레이션된 프랭카 펜다 로봇 암을 실제 로봇으로 교체할 수 있도록 하여 원활한 시뮬레이션에서 실제 환경으로의 전이를 가능하게 합니다.

실험 결과

연구 질문

• RQ1 무한한 시연를 제공하는 대규모이고 다양한 종류의 벤치마크는 로봇 조작에서 소수의 샘플 일반화를 향상시킬 수 있는가?
• RQ2 강화 학습, 이터레이션 학습, 메타학습과 같은 다양한 학습 철학은 표준화되고 실제 세계와 관련성이 높은 벤치마크에서 어떻게 성능을 내는가?
• RQ3 일관된 작업 및 관측 설계를 가진 통합된 벤치마크를 사용할 경우, 시뮬레이션에서 실제 환경으로의 전이가 얼마나 향상될 수 있는가?
• RQ4 다양하고 복잡한 시각 기반 조작 작업을 넓은 범위로 학습시킬 경우, 현재의 다중 작업 학습 방법은 얼마나 효과적인가?
• RQ5 풍부한 다중 감각 관측 공간과 통합되었을 때, SLAM과 기하학적 추론은 작업 수준의 조작을 가능하게 하는 데 어떤 역할을 할 수 있는가?

주요 결과

• RLBench는 다양한 조작 난이도와 복잡성에 걸쳐 100개의 고유하고 수작업으로 설계된 작업을 포함하는 표준화되고 확장 가능한 벤치마크를 제공합니다.
• 웨이포인트 기반 운동 계획기의 사용은 고품질이고 다양한 시연를 무한히 제공하여 이터레이션 학습 및 강화 학습에서의 데이터 부족 문제를 크게 줄입니다.
• 벤치마크는 K개의 시연를 통해 N개의 새로운 작업으로 일반화해야 하는 새로운 대규모 소수의 샘플 학습 도전 과제를 지원합니다. 이는 M개의 기존 작업에서 학습한 후에 이루어집니다.
• RGB, 깊이, 세그멘테이션, 프로 prioception을 포함한 풍부한 다중 감각 관측의 통합은 시각 기반 제어, 부분 관측 가능성, 점진적 학습 연구를 가능하게 합니다.
• 오픈이고 확장 가능한 도구 체인은 검증된 작업 제출 파이프라인을 통해 빠르고 커뮤니티 기반의 벤치마크 확장을 가능하게 하여 일관성과 품질을 보장합니다.
• RLBench는 전통적인 로봇 공학 기반 방법과 딥러닝 기반 방법 간의 직접 비교를 가능하게 하여, 전통적인 로봇 공학과 엔드 투 엔드 학습 접근법 사이의 격차를 메웁니다.