[논문 리뷰] Efficient Model-Based Reinforcement Learning through Optimistic Policy Search and Planning

Sebastian Curi, Felix Berkenkamp외 1명|arXiv (Cornell University)|2020. 06. 15.

Advanced Bandit Algorithms Research인용 수 15

한 줄 요약

이 논문은 모델 기반 강화 학습에서 지식 부족 불확실성에 대한 제어를 환상적으로 구현함으로써 효율적인 낙관적 탐색을 가능하게 하는 새로운 알고리즘 H-UCRL을 제안한다. 모델 공간을 재구성하여 지식 부족 불확실성을 제어 변수로 표현함으로써, 환상적인 입력을 입력 공간에 추가함으로써 H-UCRL은 낙관적 탐색을 탐욕적 계획으로 변환한다. 이로써 가우시안 프로세스 모델을 사용할 경우 하한선을 초과하지 않는 유한한 손실을 보장하며, 행동 페널티가 존재하는 고차원 제어 과제에서 샘플 효율성이 크게 향상된다.

ABSTRACT

Model-based reinforcement learning algorithms with probabilistic dynamical models are amongst the most data-efficient learning methods. This is often attributed to their ability to distinguish between epistemic and aleatoric uncertainty. However, while most algorithms distinguish these two uncertainties for learning the model, they ignore it when optimizing the policy, which leads to greedy and insufficient exploration. At the same time, there are no practical solvers for optimistic exploration algorithms. In this paper, we propose a practical optimistic exploration algorithm (H-UCRL). H-UCRL reparameterizes the set of plausible models and hallucinates control directly on the epistemic uncertainty. By augmenting the input space with the hallucinated inputs, H-UCRL can be solved using standard greedy planners. Furthermore, we analyze H-UCRL and construct a general regret bound for well-calibrated models, which is provably sublinear in the case of Gaussian Process models. Based on this theoretical foundation, we show how optimistic exploration can be easily combined with state-of-the-art reinforcement learning algorithms and different probabilistic models. Our experiments demonstrate that optimistic exploration significantly speeds-up learning when there are penalties on actions, a setting that is notoriously difficult for existing model-based reinforcement learning algorithms.

연구 동기 및 목표

• 지식 부족 불확실성 하에서 효과적으로 탐색하지 못하는 탐욕적 정책 최적화의 한계를 해결하기 위해.
• 딥 모델 기반 강화 학습에서 톰슨 샘플링과 사후 샘플링이 비현실적인 상황에서도 낙관적 탐색을 가능하게 하는 실용적인 알고리즘을 개발하기 위해.
• 모델 재구성 기반으로 낙관적 탐색을 탐욕적 이용으로 환원함으로써 표준 계획기 사용이 가능하도록 하기 위해.
• 잘 校정된 모델에 대해 일반적인 손실 경계를 제공하며, 특히 가우시안 프로세스 동역학에 대해 하한선을 초과하지 않는 손실이 증명된 경우를 위해.
• 낙관적 탐색이 난이도 높은 환경에서 행동 페널티가 존재할 때 학습을 가속화함을 경험적으로 검증하기 위해.

제안 방법

• 지식 부족 불확실성을 제어 변수로 표현하기 위해 평균-지식 부족 분산 분해를 사용하여 모델 공간을 재구성한다.
• 에이전트의 1단계 전이 동역학에 대한 불확실성에 직접적으로 영향을 주는 환상적인 제어 동작을 도입한다.
• 환상적인 입력을 포함한 확장된 입력 공간 덕분에 표준 탐욕적 계획기들이 낙관적 계획 문제를 해결할 수 있다.
• 후행 분산 기반 신뢰 구간을 사용하여, 가정 2 하에서 잘 校정된 불확실성 추정을 보장한다.
• 이론적 분석을 통해 정보 용량과 도메인 성장에 의존하는 손실 경계를 유도하며, 시간에 대해 로그 스케일링을 보인다.
• 다양한 확률적 모델, 특히 가우시안 프로세스, 신경망 앙상블, 결정론적 모델과의 호환성을 가진다.

실험 결과

연구 질문

• RQ1 복잡한 확률적 모델을 사용하는 딥 모델 기반 강화 학습 환경에서 낙관적 탐색을 효율적으로 구현할 수 있는가?
• RQ2 이론적 보장을 유지하면서도 모델 재구성 기반으로 낙관적 탐색을 탐욕적 계획으로 변환할 수 있는가?
• RQ3 특히 가우시안 프로세스 동역학에 대해 잘 校정된 모델이 존재할 경우 H-UCRL이 하한선을 초과하지 않는 손실을 달성하는가?
• RQ4 행동 페널티가 존재하는 환경에서 H-UCRL은 탐욕적 및 톰슨 샘플링 기반 방법과 비교해 어떻게 성능을 내는가?
• RQ5 탐색이 비용 페널티로 인해 방해받는 고차원 연속 제어 과제에서 H-UCRL은 신뢰성 있게 해결할 수 있는가?

주요 결과

• H-UCRL은 가우시안 프로세스 모델에 대해 증명 가능하게 하한선을 초과하지 않는 손실을 달성하며, 손실은 $\mathcal{O}(\beta_{T-1}^{N}L_{\sigma}^{N}N^{2}\sqrt{T\,p\,\gamma_{pTN}(\mathbb{B}(\mathbf{s}_{0},b_{t})\times\mathcal{A}\times\mathcal{I}_{p})})$ 스케일링을 따른다.
• GP 모델의 정보 용량은 시간에 따라 로그 스케일링으로 증가하므로, 고정 도메인과 비교해 손실 경계에 추가로 로그 인자만이 발생한다.
• 실험 결과 H-UCRL은 증가하는 행동 페널티 하에서 역퍼레드 스윙업 과제를 성공적으로 해결하며, 탐욕적 및 톰슨 샘플링 방법은 실패함을 보였다.
• 특히 탐색이 페널티를 받는 고차원 연속 제어 과제에서 H-UCRL은 탐욕적 및 톰슨 샘플링 기반 베이스라인보다 뛰어난 성능을 보였다.
• H-UCRL은 결정론적 모델, 확률적 신경망 앙상블, 가우시안 프로세스 등 다양한 모델과 호환되며, 광범위한 적용 가능성을 보였다.
• 이론적 분석은 예측 분산이 유계이고 상태 공간이 컴act한 잘 校정된 모델이 유효한 손실 경계를 보장함을 확인했다.