[논문 리뷰] From virtual demonstration to real-world manipulation using LSTM and MDN

Rouhollah Rahmatizadeh, Pooya Abolghasemi외 2명|arXiv (Cornell University)|2016. 03. 12.

Robot Manipulation and Learning인용 수 18

한 줄 요약

이 논문은 다중 모odal하고 부정확한 인간의 시뮬레이션 기반 시각적 시범을 통해 LSTM 기반 컨트롤러를 Mixture Density Network(MDN)로 훈련시켜 가상 시범에서 물리적 로봇으로의 기술 이행을 제안한다. 이 방법은 오류로부터 자가 보정할 수 있도록 하여 시뮬레이션-현실 도메인 간 격차가 존재하는 Rethink Robotics Baxter 로봇에서도 성공적인 작업 수행을 가능하게 하며, LSTM+MDN가 피드포워드 네트워크와 MSE 기반 훈련보다 우수한 성능을 보인다.

ABSTRACT

Robots assisting the disabled or elderly must perform complex manipulation tasks and must adapt to the home environment and preferences of their user. Learning from demonstration is a promising choice, that would allow the non-technical user to teach the robot different tasks. However, collecting demonstrations in the home environment of a disabled user is time consuming, disruptive to the comfort of the user, and presents safety challenges. It would be desirable to perform the demonstrations in a virtual environment. In this paper we describe a solution to the challenging problem of behavior transfer from virtual demonstration to a physical robot. The virtual demonstrations are used to train a deep neural network based controller, which is using a Long Short Term Memory (LSTM) recurrent neural network to generate trajectories. The training process uses a Mixture Density Network (MDN) to calculate an error signal suitable for the multimodal nature of demonstrations. The controller learned in the virtual environment is transferred to a physical robot (a Rethink Robotics Baxter). An off-the-shelf vision component is used to substitute for geometric knowledge available in the simulation and an inverse kinematics module is used to allow the Baxter to enact the trajectory. Our experimental studies validate the three contributions of the paper: (1) the controller learned from virtual demonstrations can be used to successfully perform the manipulation tasks on a physical robot, (2) the LSTM+MDN architectural choice outperforms other choices, such as the use of feedforward networks and mean-squared error based training signals and (3) allowing imperfect demonstrations in the training set also allows the controller to learn how to correct its manipulation mistakes.

연구 동기 및 목표

• 비기술자 사용자가 실제 환경에서 물리적 시범을 제공하지 않아도 보조 로봇이 복잡한 조작 작업을 학습할 수 있도록 하는 것.
• 장애우나 노약자로부터 물리적 시범을 수집하는 데서 발생하는 안전성, 시간, 불편함 문제를 해결하는 것.
• 도메인 이탈과 불완전한 시범이 존재하는 상황에서도 시뮬레이션에서 훈련된 정책을 실제 로봇으로 이행하는 방법을 개발하는 것.
• 불완전하고 오류가 있는 인간의 시범이 실제 실행에서의 자가 보정 능력 향상에 기여할 수 있는지 조사하는 것.

제안 방법

• 가상 환경에서 인간 사용자가 수행한 피크앤플레이스 및 푸시투포즈 작업의 시뮬레이션 기반 시범 데이터를 수집한다.
• 시간적 의존성을 트레이젝터리에서 모델링하기 위해 장기 기억 장기 기억 순환 네트워크(Long Short-Term Memory, LSTM) 기반의 딥 네ural 네트워크 컨트롤러를 훈련한다.
• 다중 모달 행동 분포를 모델링하기 위해 혼합 밀도 네트워크(Mixture Density Network, MDN)를 출력 헤드로 사용하여 다양하고 복잡한 행동을 학습할 수 있도록 한다.
• 특히 다수의 유효한 전략이 존재하는 경우에도 행동 분포를 더 잘 포착하기 위해 MDN의 가능도 기반 손실 함수를 사용하여 훈련한다.
• 훈련된 컨트롤러는 물체 추적을 위한 오픈소스 Kinect 기반 비전 시스템과 궤도 실행을 위한 역기하학 모듈을 사용하여 실제 Rethink Robotics Baxter 로봇에 이식된다.
• 실패한 캐치, 물체 낙하, 과도한/부족한 푸시 등의 오류가 포함된 불완전한 시범 데이터를 훈련 데이터에 포함시켜 오류 복구 및 자가 보정 능력을 학습시킨다.

실험 결과

연구 질문

• RQ1 가상 시범 데이터로 훈련된 컨트롤러가 실제 로봇에서 조작 작업을 성공적으로 수행할 수 있는가?
• RQ2 컨트롤러 아키텍처에 LSTM과 MDN를 사용할 경우, 평균 제곱 오차 손실 기반 피드포워드 네트워크보다 성능이 향상되는가?
• RQ3 오류와 수정 행동을 포함한 불완전한 인간 시범이 실제 세계에서의 자가 보정 능력 향상에 기여하는가?
• RQ4 시뮬레이션에서 현실로의 이행 과정에서 성능 저하가 발생할 경우, 도메인 이탈을 보완할 수 있는가?
• RQ5 센서 가림, 물체 특성 불일치 등의 실제 세계의 노이즈와 정확도 저하에 일반화할 수 있는가?

주요 결과

• 가상 시범 데이터로 훈련된 컨트롤러는 실제 Baxter 로봇에서 피크앤플레이스 및 푸시투포즈 작업을 성공적으로 수행하여 시뮬레이션에서 현실로의 효과적인 이행을 입증하였다.
• LSTM+MDN 아키텍처는 평균 제곱 오차 기반 피드포워드 네트워크보다 유의미하게 뛰어난 성능을 보였으며, 특히 다중 모달성과 복잡한 트레이젝터리 처리에 유리했다.
• 실패한 캐치와 수정 행동을 포함한 불완전한 시범 데이터를 훈련에 포함시킴으로써 로봇은 자가 보정 능력을 습득하여 실제 세계에서의 내구성을 향상시켰다.
• 실제 세계에서의 성공률는 시뮬레이션보다 낮았으며, 주로 센서 노이즈, 가림 동안 물체 추적 실패, 마찰 계수 및 물체 크기 등의 물리적 특성 불일치 때문이었다.
• 푸시투포즈 작업의 성능 저하는 피크앤플레이스보다 더 크게 나타났는데, 이는 시뮬레이션과 현실 간 물리적 차이에 더 민감하기 때문이다.
• 실제 세계에서는 실패가 피할 수 없기 때문에, 불완전한 시범을 통해 학습한 오류 복구 능력이 작업 완료에 있어 핵심적인 역할을 하였다.