[논문 리뷰] VPE: Variational Policy Embedding for Transfer Reinforcement Learning

Isac Arnekvist, Danica Kragić외 1명|arXiv (Cornell University)|2018. 09. 10.

Reinforcement Learning in Robotics인용 수 3

한 줄 요약

이 논문은 유사한 마르코프 결정 과정(MDP)들 사이에서 교사 정책들로부터 Q-함수의 저차원 잠재 공간을 학습하는 전이 강화학습을 위한 Variational Policy Embedding(VPE)을 제안한다. 변분 추론과 베이지안 최적화를 사용해 이 잠재 공간 내에서 정책 적응을 최적화함으로써, VPE는 새로운 환경으로의 빠른, 데이터 효율적인 적응을 가능하게 한다. 이는 단지 5~10분의 실세계 롤아웃만으로도 시뮬레이션 및 실세계 로봇 밀기 작업에서 입증되었다.

ABSTRACT

Reinforcement Learning methods are capable of solving complex problems, but resulting policies might perform poorly in environments that are even slightly different. In robotics especially, training and deployment conditions often vary and data collection is expensive, making retraining undesirable. Simulation training allows for feasible training times, but on the other hand suffers from a reality-gap when applied in real-world settings. This raises the need of efficient adaptation of policies acting in new environments. We consider this as a problem of transferring knowledge within a family of similar Markov decision processes. For this purpose we assume that Q-functions are generated by some low-dimensional latent variable. Given such a Q-function, we can find a master policy that can adapt given different values of this latent variable. Our method learns both the generative mapping and an approximate posterior of the latent variables, enabling identification of policies for new tasks by searching only in the latent space, rather than the space of all policies. The low-dimensional space, and master policy found by our method enables policies to quickly adapt to new environments. We demonstrate the method on both a pendulum swing-up task in simulation, and for simulation-to-real transfer on a pushing task.

연구 동기 및 목표

• 로봇 분야에서 데이터 수집이 비용이 많이 들기 때문에, 약간 다른 환경으로 정책을 배포할 때 일반화 성능이 떨어지는 문제를 해결하기 위해.
• 완전한 재학습 없이도 유사한 환경들로 이루어진 MDP의 가족 내에서 새로운 MDP로 정책을 효율적으로 적응시키기 위해.
• 환경 변화를 포괄하는 최적 정책의 압축되고 분리된 잠재 표현을 학습하기 위해.
• 전체 정책 공간이 아닌 저차원 잠재 공간에서의 글로벌 최적화를 통해 빠른 정책 적응을 가능하게 하기 위해.
• 통합된 변분 추론 프레임워크를 통해 확률적 및 결정적 교사 정책 모두에서 전이를 지원하기 위해.

제안 방법

• 이 방법은 MDP의 가족이 저차원 잠재 변수 z에 의해 매개변수화되어 있음을 모델링하며, Q-함수는 깊이 있는 생성 모델을 통해 z로부터 생성된다.
• 잠재 변수 z에 대한 사후 분포를 근사하기 위해 변분 추론 프레임워크를 사용하며, 엔드 투 엔드 학습을 위한 근거가 되는 하한 경계(ELBO)를 유도한다.
• 마스터 정책는 z에 조건부로 설정되며, 각 z에 대해 기대 수익을 최대화하는 행동을 생성하도록 훈련된다. 이는 정책 전이를 가능하게 한다.
• 새로운 MDP로의 정책 적응은 전체 정책 재학습을 피하기 위해 베이지안 최적화 또는 확률적 경사 하강법을 사용해 z에 대해 최적화함으로써 수행된다.
• 환경 매개변수(예: 질량 또는 마찰 계수)와 같은 의미 있는 환경 매개변수에 대응하는 차원들이 있는 분리된 잠재 공간을 학습함으로써, 신호 대 잡음비(SNR) 분석을 통해 검증되었다.
• 통합된 변분 목표를 통해 결정적 및 확률적 교사 정책 모두를 지원하는 프레임워크를 제공한다.

실험 결과

연구 질문

• RQ1 유사한 환경들로 이루어진 MDP의 가족 내에서 환경 변화를 포괄하는 저차원 잠재 공간을 학습할 수 있는가?
• RQ2 이 잠재 공간을 통해 일반화된 마스터 정책를 훈련시켜 새로운 MDP로의 빠른 적응을 가능하게 할 수 있는가?
• RQ3 잠재 공간이 질량 또는 마찰 계수와 같은 의미 있는 환경 매개변수를 분리하여 표현하는가? 이는 정책 적응의 해석 가능성을 보장하는가?
• RQ4 최소한의 실세계 상호작용만으로도 시뮬레이션에서 실세계 로봇 작업으로의 효과적인 전이를 달성할 수 있는가?
• RQ5 고차원 상태/행동 공간에서 직접 정책 최적화하는 것과 비교해, 잠재 공간 최적화의 성능은 어떻게 되는가?

주요 결과

• 펜듈럼 스윙업 작업에서, VPE는 단지 3회의 최적화 스텝만으로도 미리 보지 않은 MDP에서 -121.5 ± 2.2의 보상을 달성하여 기준 방법들보다 뚜렷이 뛰어난 성능을 보였다.
• 시뮬레이션에서 실세계로의 밀기 작업 전이에서, 베이지안 최적화를 사용해 잠재 공간에서의 최적화를 통해 5~10분 이내의 실세계 롤아웃만으로도 성공적인 정책 전이를 달성했다.
• 잠재 공간은 명확한 분리성을 보였으며, SNR가 가장 높은 차원이 밀기 작업에서의 회전 오프셋 매개변수 x_rot를 표현하고 있었다.
• 정책 적응을 위한 효과적인 검색 공간을 전체 정책 공간에서 저차원 잠재 공간으로 줄여 효율적인 최적화를 가능하게 하였다.
• 변분 추론 프레임워크는 사후 분포를 성공적으로 압축하였으며, 잠재 변수들이 사전 분포에 더 가까이 군집됨을 확인하여 효과적인 압축과 일반화를 입증하였다.
• 교사 정책가 제한된 환경 변화 조합에서만 훈련되었더라도, VPE는 새로운 MDP로의 강력한 제로샷 전이 능력을 보이며 잘 일반화되었다.