[논문 리뷰] Behavior Priors for Efficient Reinforcement Learning

Dhruva Tirumala, Alexandre Galashov외 9명|arXiv (Cornell University)|2020. 10. 27.

Reinforcement Learning in Robotics참고 문헌 93인용 수 14

한 줄 요약

이 논문은 행동 사전(probabilistic models of trajectories)을 도입하며, 이는 다양한 작업 간의 공통된 이동 및 상호작용 패턴에 대한 재사용 가능한 지식을 인코딩하는 모델이다. 궤적 모델링과 계층적 잠재변수를 통해 강화학습에 이러한 사전을 통합함으로써, 표본 효율성 향상, 전이 학습 가능성 향상, 탐색 성능 향상이 가능해지며, 이는 연속 제어 환경에서 기존의 기준 모델들에 비해 뚜렷한 성능 향상을 보여주었다.

ABSTRACT

As we deploy reinforcement learning agents to solve increasingly challenging problems, methods that allow us to inject prior knowledge about the structure of the world and effective solution strategies becomes increasingly important. In this work we consider how information and architectural constraints can be combined with ideas from the probabilistic modeling literature to learn behavior priors that capture the common movement and interaction patterns that are shared across a set of related tasks or contexts. For example the day-to day behavior of humans comprises distinctive locomotion and manipulation patterns that recur across many different situations and goals. We discuss how such behavior patterns can be captured using probabilistic trajectory models and how these can be integrated effectively into reinforcement learning schemes, e.g.\ to facilitate multi-task and transfer learning. We then extend these ideas to latent variable models and consider a formulation to learn hierarchical priors that capture different aspects of the behavior in reusable modules. We discuss how such latent variable formulations connect to related work on hierarchical reinforcement learning (HRL) and mutual information and curiosity based objectives, thereby offering an alternative perspective on existing ideas. We demonstrate the effectiveness of our framework by applying it to a range of simulated continuous control domains.

연구 동기 및 목표

• 공통적인 행동 패턴에 대한 사전 지식를 통합하여 강화학습의 표본 비효율성 문제를 해결한다.
• 확률적 궤적 분포를 사용하여 작업 간 재사용 가능한 행동을 통합된 프레임워크로 모델링한다.
• 공통된 이동 및 상호작용 패턴을 행동 사전로 인코딩하여 효율적인 다중 작업 및 전이 학습을 가능하게 한다.
• 계층적이고 모odu lar한 아키텍처를 통해 행동 사전를 딥 강화학습에 통합하여 일반화 및 제어 성능 향상을 도모한다.
• 확률적 모델링의 관점에서 기존 방법들인 계층적 강화학습 및 궁금증 기반 학습과의 연결을 시도한다.

제안 방법

• 딥 생성 모델을 사용하여 행동 사전를 확률적 궤적 분포로 모델링함으로써, 다양한 작업 간의 공통된 이동 및 상호작용 패턴을 포괄한다.
• 표본 궤적의 로그우도에 대한 하한을 최대화함으로써, 변분 추론을 사용해 사전를 훈련한다.
• 정책이 사전의 궤적 분포를 따르도록 유도하는 디스틸레이션 손실을 통해 행동 사전를 강화학습 목표에 통합한다.
• 저수준 스킬에서 고수준 목표에 이르기까지 다양한 수준의 행동을 포괄하는 계층적 잠재변수 모델을 사용해 모듈화된 사전를 학습한다.
• 정책 손실, 엔트로피 보너스, 디스틸레이션 손실의 가중 합을 사용해 행동 사전를 표준 강화학습 목표와 결합한다.
• 오프-폴리시 딥 강화학습 환경에서의 훈련 안정성을 향상시키기 위해 액터, 크리틱, 사전 네트워크에 타겟 네트워크와 소프트 업데이트를 적용한다.

실험 결과

연구 질문

• RQ1 재사용 가능한 행동 지식는 어떻게 효과적으로 강화학습에 인코딩되고 활용될 수 있는가?
• RQ2 확률적 궤적 모델은 연속 제어 작업에서 다양한 작업 간에 일반화 가능한 효과적인 사전로 기능할 수 있는가?
• RQ3 행동 사전는 계층적 강화학습이나 궁금증 기반 탐색과 같은 기존 방법들과 비교해 성능 및 일반화 능력에서 어떻게 다른가?
• RQ4 분리된 잠재변수를 가진 계층적 사전는 강화학습에서 전이 및 다중 작업 학습을 얼마나 향상시킬 수 있는가?
• RQ5 행동 사전는 탐색을 이끌어내고 정책 학습을 위한 환경 상호작용 횟수를 줄일 수 있는가?

주요 결과

• 행동 사전 프레임워크는 연속 제어 작업에서 표본 효율성을 크게 향상시켰으며, 높은 성능에 도달하기 위해 필요한 환경 상호작용 횟수를 감소시켰다.
• 이동 및 조작 작업에서 학습된 행동 사전에 조건을 부여한 정책는 기준 모델들보다 뛰어난 성능을 보였으며, 특히 보상이 희박한 환경에서 두드러졌다.
• 계층적 사전의 사용은 작업 간 보다 우수한 일반화 성능을 이끌었으며, 관련된 환경 간 스킬 전이를 보다 효과적으로 수행하는 데 기여했다.
• 디스틸레이션 손실 구성요소는 훈련을 안정화시키고 수렴 속도를 향상시켰으며, 특히 엔트로피 정규화와 조합했을 때 두드러졌다.
• PointMass, Humanoid, Ant 및 조작 작업에 대한 실험 결과, 표준 SAC 및 기존 기준 모델들에 비해 최종 수익과 표본 효율성에서 일관된 향상을 보였다.
• 프레임워크는 하이퍼파rameter 변화에 대해 강건했으며, 복잡한 역학과 고차원 관측값을 가진 다양한 환경에 대해 확장성도 보였다.