[논문 리뷰] Learning real manipulation tasks from virtual demonstrations using LSTM

Rouhollah Rahmatizadeh, Pooya Abolghasemi외 2명|arXiv (Cornell University)|2016. 03. 12.

Robot Manipulation and Learning참고 문헌 19인용 수 28

한 줄 요약

이 논문은 LSTM 기반 네트워크와 혼합 밀도 네트워크(MDN) 손실을 사용하여 가상의 시연를 통해 로봇 컨트롤러를 훈련시켜 실제 로봇으로의 전이를 가능하게 한다. 이 방법은 복잡한 조작 작업을 Baxter 로봇에서 성공적으로 수행하며, 피드포워드 네트워크보다 우수하고, 불완전한 시범을 통해 오류를 수정할 수 있다.

ABSTRACT

Robots assisting the disabled or elderly must perform complex manipulation tasks and must adapt to the home environment and preferences of their user. Learning from demonstration is a promising choice, that would allow the non-technical user to teach the robot different tasks. However, collecting demonstrations in the home environment of a disabled user is time consuming, disruptive to the comfort of the user, and presents safety challenges. It would be desirable to perform the demonstrations in a virtual environment. In this paper we describe a solution to the challenging problem of behavior transfer from virtual demonstration to a physical robot. The virtual demonstrations are used to train a deep neural network based controller, which is using a Long Short Term Memory (LSTM) recurrent neural network to generate trajectories. The training process uses a Mixture Density Network (MDN) to calculate an error signal suitable for the multimodal nature of demonstrations. The controller learned in the virtual environment is transferred to a physical robot (a Rethink Robotics Baxter). An off-the-shelf vision component is used to substitute for geometric knowledge available in the simulation and an inverse kinematics module is used to allow the Baxter to enact the trajectory. Our experimental studies validate the three contributions of the paper: (1) the controller learned from virtual demonstrations can be used to successfully perform the manipulation tasks on a physical robot, (2) the LSTM+MDN architectural choice outperforms other choices, such as the use of feedforward networks and mean-squared error based training signals and (3) allowing imperfect demonstrations in the training set also allows the controller to learn how to correct its manipulation mistakes.

연구 동기 및 목표

• 비기술자도 안전하고 방해를 최소화하는 환경에서 가상의 시범을 통해 복잡한 조작 작업을 로봇에게 가르칠 수 있도록 하는 것.
• 시뮬레이션에서 학습한 정책을 실제 로봇의 현실 세계의 동역학과 센서 제약 조건을 고려해 전이하는 과제를 해결하는 것.
• 다중 모odal, 불완전한 시범을 처리하고 작업 실행 중 오류에서 배울 수 있는 컨트롤러를 개발하는 것.
• 표준 피드포워드 네트워크와 평균 제곱 오차 학습 방식에 비해 LSTM에 의한 MDN 손실의 효과성을 평가하는 것.

제안 방법

• 심층 신경망 컨트롤러를 훈련하기 위해 시뮬레이션 환경에서 조작 작업의 가상 시범을 수집한다.
• 시범 경로의 시간적 의존성을 모델링하기 위해 장기 기억 신경망(LSTM) 순환 네트워크를 사용한다.
• 인간 시범의 다중 모달성 특성을 다루기 위해 혼합 밀도 네트워크(MDN)가 확률적 오차 신호를 계산한다.
• 훈련된 컨트롤러는 역기구학 모듈을 통해 관절 각도로 매핑된 경로를 생성하여 물리적 실행을 수행한다.
• 기하학적 지식을 시뮬레이션에서 대체하기 위해 표준형 시각 시스템을 사용하여 실제 세계의 인식을 가능하게 한다.
• 물리 플랫폼에서 재훈련 없이도 Rethink Robotics의 Baxter 로봇에 정책을 전이한다.

실험 결과

연구 질문

• RQ1 가상 시범을 기반으로 훈련된 컨트롤러가 실제 로봇에서 조작 작업을 성공적으로 수행할 수 있는가?
• RQ2 LSTM+MDN 아키텍처가 평균 제곱 오차 손실을 사용한 피드포워드 네트워크보다 정책 학습에서 우수한 성능을 내는가?
• RQ3 불완전한 시범을 기반으로 훈련했을 때 컨트롤러가 오류를 수정할 수 있는가?
• RQ4 비디오 인식과 역기구학을 사용하여 시뮬레이션에서 현실 세계로의 일반화가 얼마나 잘 이루어지는가?

주요 결과

• 가상 시범을 기반으로 훈련된 컨트롤러는 실제 Baxter 로봇에서 조작 작업을 성공적으로 수행하여 효과적인 정책 전이를 입증했다.
• LSTM+MDN 아키텍처는 평균 제곱 오차로 훈련된 피드포워드 네트워크보다 유의미하게 뛰어나며, 특히 다중 모달 시범 데이터 처리에서 뛰어난 성능을 보였다.
• 불완전한 시범을 기반으로 훈련했을 때 시스템은 조작 오류를 수정할 수 있었고, 현실 세계의 변동성에 대한 내구성을 향상시켰다.
• 표준형 시각 시스템과 역기구학의 사용은 정밀한 시뮬레이션 정확도가 없이도 물리적 로봇에서의 기능적 실행을 가능하게 했다.