[논문 리뷰] Monte Carlo Bayesian Reinforcement Learning

Yi Wang, Kok Sung Won외 2명|arXiv (Cornell University)|2012. 06. 27.

Reinforcement Learning in Robotics참고 문헌 23인용 수 26

한 줄 요약

이 논문은 몬테카를로 베이지안 강화학습(MC-BRL)을 제안하며, 이는 이산 모델 파라미터 가설을 샘플링하고 상태 및 파라미터 공간 위에 이산 POMDP를 구성함으로써 베이지안 강화학습을 근사하는 방법이다. 이전의 접근 방식과 달리 공액 사전 분포를 가정하지 않으며, 점 기반 알고리즘을 통해 효율적인 해법을 제공함으로써 완전 관측 및 부분 관측 환경 모두에서 이론적 보장이 있는 강력한 성능을 달성한다.

ABSTRACT

Bayesian reinforcement learning (BRL) encodes prior knowledge of the world in a model and represents uncertainty in model parameters by maintaining a probability distribution over them. This paper presents Monte Carlo BRL (MC-BRL), a simple and general approach to BRL. MC-BRL samples a priori a finite set of hypotheses for the model parameter values and forms a discrete partially observable Markov decision process (POMDP) whose state space is a cross product of the state space for the reinforcement learning task and the sampled model parameter space. The POMDP does not require conjugate distributions for belief representation, as earlier works do, and can be solved relatively easily with pointbased approximation algorithms. MC-BRL naturally handles both fully and partially observable worlds. Theoretical and experimental results show that the discrete POMDP approximates the underlying BRL task well with guaranteed performance. 1.

연구 동기 및 목표

• 공액 사전 분포가 필요하지 않은 일반적이고 실용적인 베이지안 강화학습 접근법을 개발하기 위해.
• 모델 파라미터를 샘플링한 이산 POMDP로 문제를 변환함으로써 베이지안 강화학습에서의 효율적 추론을 가능하게 하기 위해.
• 통합된 프레임워크 내에서 완전 관측 및 부분 관측 환경을 모두 지원하기 위해.
• 결과로 도출된 POMDP가 진정한 BRL 문제에 대해 근사 품질에 대한 이론적 보장을 제공하기 위해.
• 점 기반 POMDP 해법기가 베이지안 강화학습에 효과적으로 적용될 수 있으며, 제한적인 분포 가정 없이도 가능함을 보여주기 위해.

제안 방법

• MC-BRL는 모델 파라미터에 대한 사전 분포에서 유한한 가설 집합을 샘플링한다.
• 원래 MDP의 상태 공간과 샘플된 파라미터 공간의 카티esian 곱으로 구성된 상태 공간을 갖는 POMDP를 구성한다.
• 공액 지수족 분포가 필요하지 않도록 베이즈의 정리에 따라 연합 상태-파라미터 공간의 믿음이 갱신된다.
• 결과로 도출된 POMDP는 가치 반복 또는 믿음 점에서의 정책 탐색과 같은 점 기반 근사 추론 알고리즘을 사용하여 해결된다.
• POMDP에서 유도된 정책은 원래 BRL 문제에 대한 베이지안 최적 정책을 근사한다.
• 이 방법은 파라미터 불확실성을 관측되지 않은 상태 요소로 간주함으로써 완전 관측 및 부분 관측 환경을 자연스럽게 처리한다.

실험 결과

연구 질문

• RQ1 샘플된 모델 파라미터를 갖는 이산 POMDP 설정이 진정한 베이지안 강화학습 문제를 효과적으로 근사할 수 있는가?
• RQ2 MC-BRL가 공액 사전 분포에 의존하지 않고도 경쟁 가능한 성능을 달성할 수 있는가?
• RQ3 POMDP 근사가 베이지안 최적 정책의 이론적 보장들을 얼마나 잘 유지하는가?
• RQ4 이 설정을 통해 점 기반 POMDP 해법기가 베이지안 강화학습 작업에 효과적으로 적용될 수 있는가?
• RQ5 MC-BRL는 완전 관측 및 부분 관측 환경 모두에서 어떻게 성능을 발휘하는가?

주요 결과

• 이산 POMDP 설정은 이론적 성능 보장을 동반하여 기저의 베이지안 강화학습 문제에 대해 강력한 근사를 제공한다.
• MC-BRL는 공액 사전 분포가 필요하지 않음에도 불구하고 완전 관측 및 부분 관측 환경 모두에서 경쟁 가능한 성능을 달성한다.
• 이 방법은 계산적으로 효율적이고 확장 가능한 표준 점 기반 POMDP 해법기를 사용할 수 있게 한다.
• 이 접근법은 특정 비모수적 가정에 의존하지 않기 때문에 일반적이며 다양한 모델 구조에 적용 가능하다.
• 실험 결과는 샘플된 가설 집합이 다양한 벤치마크 작업에서 안정적이고 효과적인 정책 학습을 이끌어낸다.
• 이 방법은 학습 전반에 걸쳐 모델 파라미터에 대한 불확실성을 유지함으로써 지식적 불확실성 하에서의 강력한 의사결정을 가능하게 한다.