[논문 리뷰] Meta-Inverse Reinforcement Learning with Probabilistic Context Variables

Lantao Yu, Tianhe Yu외 2명|arXiv (Cornell University)|2019. 09. 20.

Reinforcement Learning in Robotics인용 수 31

한 줄 요약

이 논문은 깊이 있는 잠재 변수 모델을 사용하여 비정형적이고 이질적인 시연로부터 분리된, 일반화 가능한 보상 함수를 학습하는 메타-역강화학습 프레임워크인 확률적 임bedding를 위한 메타-역강화학습(PEMIRL)을 제안한다. 단일 시범 시연에서 확률적 컨텍스트 변수를 추론함으로써 PEMIRL는 새로운 동적 환경을 가진 새로운 작업으로의 소수의 시범 보상 일반화를 가능하게 하여 연속 제어 환경에서 최신의 이mitation 및 역강화학습 방법들을 능가한다.

ABSTRACT

Providing a suitable reward function to reinforcement learning can be difficult in many real world applications. While inverse reinforcement learning (IRL) holds promise for automatically learning reward functions from demonstrations, several major challenges remain. First, existing IRL methods learn reward functions from scratch, requiring large numbers of demonstrations to correctly infer the reward for each task the agent may need to perform. Second, existing methods typically assume homogeneous demonstrations for a single behavior or task, while in practice, it might be easier to collect datasets of heterogeneous but related behaviors. To this end, we propose a deep latent variable model that is capable of learning rewards from demonstrations of distinct but related tasks in an unsupervised way. Critically, our model can infer rewards for new, structurally-similar tasks from a single demonstration. Our experiments on multiple continuous control tasks demonstrate the effectiveness of our approach compared to state-of-the-art imitation and inverse reinforcement learning methods.

연구 동기 및 목표

• 기존의 역강화학습이 작업당 대량의 시범이 필요하므로 발생하는 데이터 비효율성 문제를 해결하기 위해.
• 단일 시범만으로도 새로운, 유사한 구조를 가진 작업으로의 보상 함수 일반화를 가능하게 하기 위해.
• 사전에 정의된 작업 그룹화 없이 비정형적이고 이질적인 시범에서 강건하고 분리된 보상 함수를 학습하기 위해.
• 고차원 상태-행동 공간을 가진 복잡한 연속 제어 환경으로 메타-IRL를 확장하기 위해.
• 소수의 시범 보상 추론과 비정형 다중 작업 시범에서의 학습 사이의 격차를 메우기 위해.

제안 방법

• PEMIRL는 컨텍스트 기반 메타학습, 깊이 있는 잠재 변수 모델, 최대 엔트로피 역강화학습을 통합한 유일한 그래픽 모델로 구성된다.
• 변분 추론 프레임워크를 사용하여 시범 트레이젝터리에서 확률적 컨텍스트 변수를 추론함으로써 작업별 특성의 구조를 인코딩한다.
• 최대 엔트로피 IRL 기반의 미분 가능한 목적 함수를 사용하여 보상 함수 일반화와 컨텍스트 변수 추론을 동시에 최적화한다.
• 잠재적 컨텍스트 변수는 단일 시범에 조건이 되어 모델이 기저 작업 목표를 추론하고 새로운 동적 환경으로 일반화할 수 있도록 한다.
• 모델는 전문가 시범을 재구성하기 위한 생성 모델과 전문가 시범과 정책에 의해 생성된 트레이젝터리를 구분하는 디스criminator를 사용하며, AIRL와 유사하다.
• 이 프레임워크는 작업 레이블 없이 비정형 다중 작업 시범에서 끝내기로 훈련되어 새로운 작업으로의 제로샷 적응을 가능하게 한다.

실험 결과

연구 질문

• RQ1 메타-IRL 모델은 새로운 작업의 단일 시범으로부터 분리된, 일반화 가능한 보상 함수를 추론할 수 있는가?
• RQ2 단일 시범만 제공되었을 때, 환경의 동적 특성이 변경된 새로운 작업으로의 일반화 성능는 어떠한가?
• RQ3 작업 레이블 없이 비정형적이고 이질적인 시범에서 강건한 보상 함수를 학습할 수 있는가?
• RQ4 소수의 시범 설정에서 최신의 이mitation 및 역강화학습 방법과 비교해 모델의 보상 일반화 성능는 어떠한가?
• RQ5 확률적 컨텍스트 변수의 사용이 표준 IRL 또는 GAN 기반 접근법에 비해 동적 특성에 따른 보상 분리에 얼마나 유리한가?

주요 결과

• PEMIRL는 장애물이 있는 앤트 걷기 작업에서 평균 수익 152.62 ± 11.75를 기록하여 Meta-InfoGAIL(152.62 대비 -38.73)과 AIRL(-76.21)을 크게 능가했다.
• 포인트-메이즈-쉬프트 작업에서 PEMIRL는 수익 -9.04 ± 1.09를 기록하여 Meta-IL(-28.61)과 Meta-InfoGAIL(-29.72)을 능가했다.
• 모델는 단일 시범에서 진정한 목표를 추론하여 미로의 장애물을 우회할 수 있도록 RL 에이전트를 성공적으로 유도했으며, AIRL는 작업 간 평균 보상 학습으로 실패했다.
• Meta-InfoGAIL의 디스criminator 출력은 균일 분포로 수렴하여 정보 없는 보상을 제공하여 정책 성능이 열악했다.
• PEMIRL는 기저 목표를 정확히 반영한 분리된 보상 함수를 학습하여 새로운 동적 환경에서 효과적인 정책 학습을 가능하게 했다.
• 모델는 포인트-메이즈, 앤트, 스위퍼, 샤워우 푸시어와 같은 복잡한 연속 제어 환경에서 확장성과 효과성을 입증했다.