[논문 리뷰] Zero-Shot Skill Composition and Simulation-to-Real Transfer by Learning Task Representations

Zhanpeng He, Ryan Julian외 6명|arXiv (Cornell University)|2018. 10. 04.

Reinforcement Learning in Robotics참고 문헌 17인용 수 16

한 줄 요약

이 논문은 모델 예측 제어(MPC)와 함께 연속적인 작업 표현을 학습하여 로봇에서 제로샷 스킬 조합과 시뮬레이션에서 실제 환경으로의 전이를 위한 방법을 제안한다. 사전 훈련된 시뮬레이션 정책을 재사용하여, 학습된 스킬 잠재변수의 동적 시퀀스 계획을 통해 새로운 작업에 대해 실물 로봇에서 일반화를 달성하며, 추가적인 실물 훈련 없이도 그림 그리기 및 블록 밀기와 같은 작업에서 효과적인 실제 성능을 달성한다.

ABSTRACT

Simulation-to-real transfer is an important strategy for making reinforcement learning practical with real robots. Successful sim-to-real transfer systems have difficulty producing policies which generalize across tasks, despite training for thousands of hours equivalent real robot time. To address this shortcoming, we present a novel approach to efficiently learning new robotic skills directly on a real robot, based on model-predictive control (MPC) and an algorithm for learning task representations. In short, we show how to reuse the simulation from the pre-training step of sim-to-real methods as a tool for foresight, allowing the sim-to-real policy adapt to unseen tasks. Rather than end-to-end learning policies for single tasks and attempting to transfer them, we first use simulation to simultaneously learn (1) a continuous parameterization (i.e. a skill embedding or latent) of task-appropriate primitive skills, and (2) a single policy for these skills which is conditioned on this representation. We then directly transfer our multi-skill policy to a real robot, and actuate the robot by choosing sequences of skill latents which actuate the policy, with each latent corresponding to a pre-learned primitive skill controller. We complete unseen tasks by choosing new sequences of skill latents to control the robot using MPC, where our MPC model is composed of the pre-trained skill policy executed in the simulation environment, run in parallel with the real robot. We discuss the background and principles of our method, detail its practical implementation, and evaluate its performance by using our method to train a real Sawyer Robot to achieve motion tasks such as drawing and block pushing.

연구 동기 및 목표

• 기존의 단일 작업에 대해 훈련된 시뮬레이션에서 실제 환경으로의 전이 방법이 일반화에 실패하는 문제를 해결하기 위해.
• 추가적인 실물 훈련 없이도 다중 스킬 정책을 실물 로봇에 구현하여 새로운 작업에 일반화할 수 있도록 하기 위해.
• 사전 훈련된 시뮬레이션 정책을 MPC 기반 작업 계획을 위한 전망 모델로 활용하기 위해.
• 작업 특화 스킬을 연속적이고 파arameterized된 표현으로 개발하여 조합적 일반화를 가능하게 하기 위해.

제안 방법

• 이 방법은 시뮬레이션 데이터를 사용하여 작업에 적합한 기본 스킬을 매개변수화하는 연속적인 잠재 공간(스킬 잠재변수)을 학습한다.
• 단일 공통 정책이 이러한 스킬 잠재변수를 조건으로 삼아, 시뮬레이션에서 여러 작업을 수행할 수 있도록 훈련된다.
• 실물 로봇은 스킬 잠재변수의 시퀀스를 계획하기 위해 MPC를 사용하며, 각 잠재변수는 사전에 학습된 기본 제어기와 대응된다.
• MPC 모델은 실물 로봇과 동시에 사전 훈련된 정책을 시뮬레이션에서 실행하여 실시간 계획 수립과 적응을 가능하게 한다.
• 시스템은 시뮬레이션 환경을 전망을 위한 역학 모델로 활용하여, 실행 전에 스킬 시퀀스의 결과를 예측할 수 있도록 한다.
• 정책은 실물 로봇로 직접 전이되어, 새로운 작업에 대해 동적으로 선택된 스킬 잠재변수 시퀀스를 사용하여 실행된다.

실험 결과

연구 질문

• RQ1 학습된 작업 표현에 조건이 되는 단일 정책이 실물에서 새로운 로봇 작업에 제로샷 일반화를 달성할 수 있는가?
• RQ2 사전 훈련된 시뮬레이션 정책을 전망 모델로 사용한 MPC가 실시간 작업 계획에 얼마나 효과적인가?
• RQ3 연속적인 작업 표현의 잠재공간을 사용하여 제로샷 스킬 조합을 달성할 수 있는가?
• RQ4 실물 훈련 없이도 시뮬레이션을 계획에 재사용할 경우, 시뮬레이션에서 실제 환경으로의 전이가 얼마나 향상되는가?
• RQ5 이 방법은 그림 그리기 및 블록 밀기와 같은 다양한 실물 작업에서 얼마나 잘 작동하는가?

주요 결과

• 이 방법은 추가적인 실물 정책 훈련 없이도 실물 Sawyer 로봇에서 새로운 작업으로의 제로샷 전이를 가능하게 한다.
• 시스템은 사전 훈련된 시뮬레이션 정책과 MPC만을 사용하여 그림 그리기 및 블록 밀기와 같은 복잡한 작업을 성공적으로 수행한다.
• 연속적인 스킬 잠재공간의 사용은 기본 스킬의 효과적인 조합을 통해 새로운 작업 목표를 달성하는 데 기여한다.
• 시뮬레이션 전망 기반의 MPC 기반 계획은 시뮬레이션에서 실제 환경으로의 도메인 갭에도 불구하고 강력한 실시간 제어를 가능하게 한다.
• 잠재공간 내삽을 통해 동일한 정책을 다양한 작업 시퀀스에 재사용함으로써 작업 간 일반화를 달성한다.