[논문 리뷰] Generative predecessor models for sample-efficient imitation learning

Yannick Schroecker, Mel Vecerík외 1명|arXiv (Cornell University)|2019. 04. 01.

Reinforcement Learning in Robotics인용 수 12

한 줄 요약

이 논문은 시뮬레이션 및 실제 로봇 조작 작업(최소한의 시범 제공 시에도 페그 삽입 포함)에서 뛰어난 샘플 효율성을 보이며, 소수의 전문가 시범으로부터의 강화 학습을 위한 샘플 효율적인 이민학습 알고리즘인 GPRIL(Generative Predecessor Models for Imitation Learning)을 제안한다. 이 알고리즘은 조건부 생성 모델을 사용하여 전문가가 관찰한 상태에 도달하는 데 필요한 과거 상태-행동 쌍을 추론한다. 이러한 합성 선조 경로로 시범 데이터를 보강함으로써 GPRIL은 소수의 전문가 시범으로부터도 강력한 정책 학습이 가능해지고, 샘플 효율성이 향상된다.

ABSTRACT

We propose Generative Predecessor Models for Imitation Learning (GPRIL), a novel imitation learning algorithm that matches the state-action distribution to the distribution observed in expert demonstrations, using generative models to reason probabilistically about alternative histories of demonstrated states. We show that this approach allows an agent to learn robust policies using only a small number of expert demonstrations and self-supervised interactions with the environment. We derive this approach from first principles and compare it empirically to a state-of-the-art imitation learning method, showing that it outperforms or matches its performance on two simulated robot manipulation tasks and demonstrate significantly higher sample efficiency by applying the algorithm on a real robot.

연구 동기 및 목표

• 전문가 시범이 부족하거나 불완전할 경우 발생하는 샘플 비효율성 문제를 해결하기 위해.
• 완전한 궤적, 원격 조작, 보상 형상화 없이도 단지 시범된 상태들만으로도 강력한 정책 학습이 가능하도록 하기 위해.
• 생성 모델을 사용하여 장기적인 선조 분포를 모델링함으로써 일반화 능력과 오류 복구 능력을 향상시키기 위해.
• 최소한의 인간 간섭으로 실제 로봇 시스템에 이민학습을 실용적으로 구현하기 위해.

제안 방법

• 전문가 시범에서 관찰된 미래 상태를 기반으로 과거 상태-행동 쌍의 조건부 분포를 모델링하기 위해 마스크된 자동회귀 플로우(MAFs)를 사용한다.
• 주어진 시범된 상태에 도달할 수 있는 타당한 선조 경로(과거 상태-행동 쌍)를 생성할 수 있도록 생성 모델을 구축한다. 이를 통해 효과적인 훈련 데이터를 확장한다.
• 강화 학습을 통해 전문가 시범 데이터와 생성된 선조 샘플을 포함한 병합된 데이터셋으로 에이전트를 훈련시켜, 이격된 상태에서도 복구할 수 있도록 한다.
• 에이전트의 상태-행동 분포를 전문가의 분포와 일치시키기 위해 최대우도 원리에서 유도된 접근 방식을 사용한다.
• 자기지도 학습 루프로 작동한다: 환경과 상호작용 → 상태-행동-미래 상태 삼중조 수집 → 생성 모델 훈련 → 훈련 데이터 보강 → 정책 재학습.
• 예를 들어 최종 상태만 제공된 경우에도 가능한 중간 경로를 생성함으로써 부분적인 시범(예: 오직 최종 상태)으로부터 학습이 가능하도록 지원한다.

실험 결과

연구 질문

• RQ1 선조 경로의 생성 모델링이 이민학습의 샘플 효율성을 향상시킬 수 있는가?
• RQ2 완전한 궤적 없이도 전문가 시범의 최종 상태들만으로도 에이전트가 강력한 정책을 학습할 수 있는가?
• RQ3 생성 선조 모델을 사용할 경우 표준 이민학습 기준 모델 대비 더 나은 일반화 능력과 오류 복구 능력을 보일 수 있는가?
• RQ4 이 방법은 원격 조작, 보상 신호 없이도 키네스타식 시범만으로 실제 로봇에 성공적으로 구현될 수 있는가?

주요 결과

• GPRIL은 페그 삽입을 포함한 두 가지 시뮬레이션된 조작 작업에서 최신 기술인 GAIL과 비교해도 성능을 뛰어넘거나 동등하게 유지하면서, 환경 샘플 수를 수 개의 주기 수준으로 줄였다.
• 최종 상태 시범만 제공된 페그 삽입 작업에서 GPRIL은 높은 성공률(90% 이상)을 유지하며 더 빠르게 학습되었고, GAIL은 불안정해지고 성능 변동성이 심했다.
• 변동 가능한 위치의 소켓을 갖춘 실제 로봇에서 GPRIL은 단지 20개의 키네스타식 기록된 시범과 19시간 미만의 환경 상호작용으로도 성공적인 삽입 정책을 학습했으며, 수렴 시점이 훨씬 이르게 발생했다.
• 물리적 작업에서 예상치 못한 삽입 각도에 대해서도 잘 일반화되어 실제 환경 조건에서 강력성과 적응성을 입증했다.
• GPRIL은 중간 경로를 타당하게 생성할 수 있기 때문에, 훈련 데이터가 희박한 경우(예: 오직 최종 상태만 존재)에도 강력한 성능을 발휘한다.
• 이 방법은 원격 조작, 보조 보상, 수동 작업 분해 없이도 자연스러운 키네스타식 교육 인터페이스만으로도 효과적인 이민학습을 가능하게 한다.