[논문 리뷰] Auto-conditioned Recurrent Mixture Density Networks for Learning Generalizable Robot Skills

Hejia Zhang, Eric Heiden외 3명|arXiv (Cornell University)|2018. 09. 29.

Robot Manipulation and Learning참고 문헌 34인용 수 6

한 줄 요약

이 논문은 소량의 시범 데이터로부터 상태 전이를 모델링하고 관절 공간 궤적을 생성함으로써 일반화 가능한 로봇 조작 기술을 학습하는 자동 조건화 순환 혼합 밀도 네트워크(STM)를 제안한다. 이는 시범 데이터를 초월하여 새로운 작업과 더 긴 수평선으로 빠르게 일반화할 수 있게 하며, 수동으로 설계된 목표 함수가 없이도 기존의 계획 방법보다 적응성과 효율성이 뛰어나다.

ABSTRACT

Personal robots assisting humans must perform complex manipulation tasks that are typically difficult to specify in traditional motion planning pipelines, where multiple objectives must be met and the high-level context be taken into consideration. Learning from demonstration (LfD) provides a promising way to learn these kind of complex manipulation skills even from non-technical users. However, it is challenging for existing LfD methods to efficiently learn skills that can generalize to task specifications that are not covered by demonstrations. In this paper, we introduce a state transition model (STM) that generates joint-space trajectories by imitating motions from expert behavior. Given a few demonstrations, we show in real robot experiments that the learned STM can quickly generalize to unseen tasks and synthesize motions having longer time horizons than the expert trajectories. Compared to conventional motion planners, our approach enables the robot to accomplish complex behaviors from high-level instructions without laborious hand-engineering of planning objectives, while being able to adapt to changing goals during the skill execution. In conjunction with a trajectory optimizer, our STM can construct a high-quality skeleton of a trajectory that can be further improved in smoothness and precision. In combination with a learned inverse dynamics model, we additionally present results where the STM is used as a high-level planner. A video of our experiments is available at this https URL

연구 동기 및 목표

• 개인용 로봇에서 소량의 시범 데이터로부터 복잡하고 일반화 가능한 조작 기술을 학습하는 데 도전하는 것.
• 수동으로 목표 함수를 설계해야 하는 전통적인 운동 계획 파이프라인의 한계를 극복하는 것.
• 시범 데이터에 포함되지 않은 새로운 작업 사양에 대해 로봇이 일반화할 수 있도록 하는 것.
• 기본 목표가 변경되는 동안 기술 실행 중 실시간으로 적응할 수 있도록 하는 것.
• 궤적 최적화 및 역역학 모델과 통합되는 고수준 계획 프레임워크를 개발하는 것.

제안 방법

• 이 방법은 소량의 시범 데이터에서 전문가 행동을 모방함으로써 관절 공간 궤적을 생성하는 데 목표를 둔 상태 전이 모델(STM)을 사용한다.
• STM은 혼합 밀도 네트워크를 활용한 순환 아키텍처를 사용하여 향후 상태와 동작에 대한 분포를 모델링함으로써 불확실성 인식 궤적 생성을 가능하게 한다.
• 자동 조건화 메커니즘은 현재 작업 맥락에 따라 네트워크의 내부 상태를 동적으로 조정함으로써 새로운 목표에 대한 일반화 능력을 향상시킨다.
• STM은 궤적 최적화기와 결합되어 생성된 운동 스켈레톤의 부드러움과 정밀도를 향상시킨다.
• 시스템은 학습된 역역학 모델과 통합되어 실제 로봇 제어에서 고수준 계획을 가능하게 한다.
• 프레임워크는 온라인 적응을 지원하여 재계획이 필요 없이 실행 도중 목표 변경이 가능하다.

실험 결과

연구 질문

• RQ1 단일 신경망 모델이 전적으로 소량의 전문가 시범 데이터만을 사용하여 새로운 조작 작업에 일반화할 수 있는가?
• RQ2 모델은 시범 데이터를 초월하여 얼마나 긴 수평선 궤적을 생성할 수 있는가?
• RQ3 기존의 계획 방법과 비교해 볼 때, 실행 중 목표가 변경되는 상황에서 모델의 적응 능력은 어느 정도인가?
• RQ4 STM을 궤적 최적화 및 역역학 모델과 통합함으로써 최종 운동 품질은 어떻게 향상되는가?
• RQ5 STM은 계층적 제어 아키텍처에서 효과적인 고수준 계획자로 기능할 수 있는가?

주요 결과

• STM은 시범 데이터에 포함되지 않은 새로운 작업에 대해 성공적으로 일반화되어 강력한 제로샷 일반화 능력을 입증하였다.
• 모델는 전문가 시범보다 더 긴 시간 수평선을 갖는 관절 공간 궤적을 생성하여 외삽적 일반화 능력을 보였다.
• 시스템은 기술 실행 중 목표 변경에 대해 실시간으로 적응할 수 있었으며, 재계획 없이도 작업 성능을 유지하였다.
• 궤적 최적화기와 결합된 STM은 더 부드럽고 정밀한 운동을 생성하여 최종 궤적 품질을 향상시켰다.
• 역역학 모델과의 통합을 통해 STM이 계층적 제어 아키텍처에서 고수준 계획자로서의 타당성을 확인하였다.