[논문 리뷰] Learning Robot Skills with Temporal Variational Inference

Tanmay Shankar, Abhinav Gupta|arXiv (Cornell University)|2020. 06. 29.

Machine Learning and Algorithms인용 수 13

한 줄 요약

이 논문은 비구분된 로봇 시연 데이터에서 비지도 학습 방식으로 저수준 제어 정책과 고수준 옵션을 동시에 학습하는 시간적 변분 추론 프레임워크를 제안한다. 옵션을 연속형 잠재 변수로 모델링하고 궤적 가능성의 시간적 분해를 사용함으로써, 의미적으로 유의미하고 재사용 가능한 스킬을 발견하여 효율적인 계층적 제어를 가능하게 하며, 시뮬레이션 내 후행 조작 작업에서 베이스라인을 능가한다.

ABSTRACT

In this paper, we address the discovery of robotic options from demonstrations in an unsupervised manner. Specifically, we present a framework to jointly learn low-level control policies and higher-level policies of how to use them from demonstrations of a robot performing various tasks. By representing options as continuous latent variables, we frame the problem of learning these options as latent variable inference. We then present a temporal formulation of variational inference based on a temporal factorization of trajectory likelihoods,that allows us to infer options in an unsupervised manner. We demonstrate the ability of our framework to learn such options across three robotic demonstration datasets.

연구 동기 및 목표

• 비구분된 시연 데이터에서 수동 애너테이션 또는 고정된 분할 없이 재사용 가능한 로봇 옵션을 비지도로 발견하는 것.
• 저수준 제어 정책과 그들을 사용하는 방식을 지배하는 고수준 옵션 정책을 동시에 학습하여 계층적 작업 실행을 가능하게 하는 것.
• 전문가가 제공한 옵션 경계나 이산적 옵션 집합이 없이도 의미 있고 조합 가능한 스킬을 학습하는 과제를 해결하는 것.
• 다양한 시연에서 구조적이고 해석 가능한 스킬 공간을 학습함으로써 샘플 효율성과 후행 작업 성능을 향상시키는 것.

제안 방법

• 프레임워크는 옵션을 연속형 잠재 변수로 모델링하여, 스킬 발견을 시연된 궤적에 대한 잠재 변수 추론 문제로 재정의한다.
• 궤적 가능성의 시간적 분해를 바탕으로 한 시간적 변분 추론(TVI) 목적함수를 도입하여 저수준 및 고수준 정책의 공동 최적화를 가능하게 한다.
• TVI 목적함수는 변분 추론을 통해 최적화되며, 이로써 행동 실행을 위한 저수준 정책과 옵션 선택을 위한 고수준 정책을 모두 도출한다.
• 정책을 표현하기 위해 순차 모델(LSTM 기반)을 사용하고, 인간 애너테이션 기반의 기본 원소와 일치하는 분리된 연속 스킬 공간을 학습한다.
• 분할 없이 원시 시연 궤적에서 끝에서 끝까지 엔드 투 엔드로 학습되어 비지도 스킬 발견이 가능하다.
• 사전학습 후, 강화학습을 통해 학습된 정책을 미세조정하여 후행 작업 성능을 평가한다.

실험 결과

연구 질문

• RQ1 인간이 애너테이션한 옵션 경계 없이도 비구분된 시연 데이터에서 의미적으로 유의미하고 재사용 가능한 로봇 스킬을 발견할 수 있는가?
• RQ2 일관된 엔드 투 엔드 프레임워크 내에서 저수준 제어 정책과 고수준 옵션 선택 정책을 동시에 학습할 수 있는가?
• RQ3 옵션의 연속형 잠재변수 표현 방식이 이산적 또는 고정 표현 방식에 비해 더 나은 일반화와 후행 작업 성능을 제공하는가?
• RQ4 시간적 변분 추론이 장기 경로를 효과적으로 모델링하고 다양한 로봇 시연에서 일관된 스킬 구조를 추론할 수 있는가?

주요 결과

• 제안된 방법은 인간이 애너테이션한 전통적 조작 스킬(예: 접근, 집기,倒기)과 대응하는 연속적이고 의미적으로 중요한 옵션을 성공적으로 발견하였으며, 궤적 롤아웃의 시각적 점검을 통해 확인되었다.
• 모델은 시연의 스킬 순서를 정확히 재구성하며, MIME 및 Roboturk 데이터셋에서 예측된 스킬 형태가 지표 궤적과 매우 유사하게 일치한다.
• 모델은 꼬임 개방 및 닫힘과 같은 세밀한 운동 패턴을 포착하여 데이터 내 미세한 운동 패턴에 민감함을 보였다.
• 모션 캡처(Mocap) 데이터셋에서는 다양한 에이전트 형태 간에 잘 일반화되어 있으며, 원본 시연 경향을 잘 따르는 롤아웃 궤적이 생성되었다.
• 6개의 Robosuite 시뮬레이션 작업에서, 평탄한 강화학습, 평탄한 인식학습, 계층적 강화학습 베이스라인보다 유의미하게 높은 평균 보상을 기록하여 성능이 뛰어나게 되었다.
• 사전학습된 정책을 강화학습으로 미세조정함으로써 우수한 후행 작업 성능을 달성하였으며, 이는 학습된 스킬 공간이 탐색을 효과적으로 이끌고 학습을 가속화한다는 것을 보여준다.