[논문 리뷰] Neural probabilistic motor primitives for humanoid control

Josh Merel, Leonard Hasenclever외 6명|arXiv (Cornell University)|2018. 11. 28.

Motor Control and Adaptation인용 수 89

한 줄 요약

이 논문은 수천 개의 전문가 휴머노이드 기술을 잠재 공간에 압축하는 offline 학습된 신경 확률적 모터 프리미티브를 제시하며, 일회성 모방과 상위 레벨 컨트롤러의 재사용을 가능하게 한다. 또한 offline transfer를 위해 behavioral cloning과 linear-feedback policy cloning (LFPC)을 비교한다.

ABSTRACT

We focus on the problem of learning a single motor module that can flexibly express a range of behaviors for the control of high-dimensional physically simulated humanoids. To do this, we propose a motor architecture that has the general structure of an inverse model with a latent-variable bottleneck. We show that it is possible to train this model entirely offline to compress thousands of expert policies and learn a motor primitive embedding space. The trained neural probabilistic motor primitive system can perform one-shot imitation of whole-body humanoid behaviors, robustly mimicking unseen trajectories. Additionally, we demonstrate that it is also straightforward to train controllers to reuse the learned motor primitive space to solve tasks, and the resulting movements are relatively naturalistic. To support the training of our model, we compare two approaches for offline policy cloning, including an experience efficient method which we call linear feedback policy cloning. We encourage readers to view a supplementary video ( https://youtu.be/CaDEf-QcKwA ) summarizing our results.

연구 동기 및 목표

• 대규모 휴머노이드 모터 기술 집합을 표현하고 생성할 수 있는 모터 프리미티브 모듈을 개발한다.
• compact embedding 공간 내에서 일회성 모방 및 기술의 유연한 재사용을 가능하게 한다.
• 온라인 RL의 광범위한 사용을 피하고 전문가 시연으로부터의 offline 정책 전이을 활용한다.
• 두 가지 offline transfer 방법: behavioral cloning과 linear-feedback policy cloning (LFPC)을 비교한다.
• 학습된 프리미티브가 다양한 작업과 보지 못한 궤적에 걸쳐 견고성, 자연스러움, 전달 가능성을 보여준다.

제안 방법

• 각 시간 스텝마다 잠재 변수 z_t를 조건부로 가지는 자동회귀(latent-variable) 모델을 제안한다. 이때 p(a_t|s_t,z_t) 분포를 조건으로 한다.
• ENCODER q(z_t|z_{t-1},x_t)와 DECODER π(a_t|s_t,z_t)를 학습시키기 위해 짧은 예측 창의 궤적 조각 x_t를 인코딩한다.
• z_t에 AR(1) 사전분포를 사용하여 시간적 일관성을 촉진하고 beta 가중 ELBO 목표를 통해 정보를 압축한다.
• 전문가 궤적(2707 클립)을 통해 온라인 RL 없이도 일회성 모방을 가능하게 하는 supervised learning으로 offline 학습한다.
• 두 가지 offline transfer 방식 도입: (a) 노이즈가 많은 전문가 롤아웃에서의 behavioral cloning, (b) 강건한 근접 상태를 위한 action-state 야코비안(Jacobians)을 이용한 LFPC(linear-feedback policy cloning).
• LFPC의 목표를 perturbation과 야코비안 기반 보정을 likelihood와 KL 항에 반영하여 적응시킨다.

실험 결과

연구 질문

• RQ1 하나의 신경 확률적 모터 프리미티브 모듈이 수천 개의 전문가 휴먼 기술을 usable embedding 공간으로 압축할 수 있는가?
• RQ2 offline 학습된 프리미티브를 사용하여 일회성 모방 및 보지 못한 궤적의 견고한 재현이 가능한가?
• RQ3 데이터 효율성과 성능 측면에서 behavioral cloning과 LFPC는 offline transfer에 대해 어떻게 비교되는가?
• RQ4 학습된 프리미티브가 상위 레벨 컨트롤러에 의해 재사용되어 자연스러운 동작으로 새로운 과제를 해결할 수 있는가?
• RQ5 잠재 공간 구조가 노이즈에 대한 강건성 및 보지 않은 행동으로의 일반화에 어떤 영향을 미치는가?

주요 결과

• 모터 프리미티브 모듈은 수천 개의 전문가 정책을 학습된 임베딩 공간으로 압축할 수 있다.
• 일회성 모방은 LFPC를 사용하여 단일 궤적만으로도 수백 개의 궤적을 사용하는 behavioral cloning과 유사한 성능을 달성할 수 있으며, 특정 정규화 설정 하에서 가능하다.
• 정규화와 더 큰 잠재 공간은 모방 성능과 강건성을 개선한다.
• 학습된 프리미티브 공간은 상위 정책에 의한 재사용을 가능하게 하여 인간 유사 모션을 가진 희박 보상 작업을 해결한다.
• 잠재 시퀀스의 최적화는 경계선상 궤적에 대해 일회성 모방을 개선할 수 있어 의미 있는 잠재 표현을 시사한다.