[논문 리뷰] (More) Efficient Reinforcement Learning via Posterior Sampling

Ian Osband, Dan Russo외 1명|arXiv (Cornell University)|2013. 06. 04.

Advanced Bandit Algorithms Research참고 문헌 19인용 수 246

한 줄 요약

이 논문은 MDP에 대한 사후 분포에서 샘플링하여 정책을 선택하고, 샘플된 MDP에 대해 최적 정책을 실행하는, 증명 가능하게 효율적인 알고리즘인 후행 샘플링 강화학습(PSRL)을 제안한다. 이 알고리즘은 비낙관적 알고리즘 중에서 처음으로 $\tilde{O}(\tau S\tilde{S}\tilde{A}\tilde{T})$의 손실 한계를 확보하였으며, 시뮬레이션에서 최신의 낙관적 방법인 UCRL2를 능가하여 더 뛰어난 샘플 효율성과 실용적 성능을 보였다.

ABSTRACT

Most provably-efficient learning algorithms introduce optimism about poorly-understood states and actions to encourage exploration. We study an alternative approach for efficient exploration, posterior sampling for reinforcement learning (PSRL). This algorithm proceeds in repeated episodes of known duration. At the start of each episode, PSRL updates a prior distribution over Markov decision processes and takes one sample from this posterior. PSRL then follows the policy that is optimal for this sample during the episode. The algorithm is conceptually simple, computationally efficient and allows an agent to encode prior knowledge in a natural way. We establish an $ ilde{O}(τS \sqrt{AT})$ bound on the expected regret, where $T$ is time, $τ$ is the episode length and $S$ and $A$ are the cardinalities of the state and action spaces. This bound is one of the first for an algorithm not based on optimism, and close to the state of the art for any reinforcement learning algorithm. We show through simulation that PSRL significantly outperforms existing algorithms with similar regret bounds.

연구 동기 및 목표

• 낙관적 탐색에 의존하지 않는 증명 가능하게 효율적인 강화학습 알고리즘을 개발하는 것.
• MDP에서 사후 샘플링 기반 접근법에 대한 유한 시간 손실 한계를 설정하는 것.
• PSRL이 계산적으로 효율적이며 사전 지식을 자연스럽게 통합할 수 있음을 보여주는 것.
• 시뮬레이션을 통해 PSRL이 유사한 손실 한계를 가진 기존 알고리즘보다 현저히 뛰어나다는 것을 보여주는 것.
• 사후 샘플링이 강화학습에서 낙관적 탐색의 타당한 대안이 되는지 이론적이고 경험적으로 근거를 제시하는 것.

제안 방법

• PSRL는 고정 길이의 에피소드를 기반으로 작동하며, 각 에피소드의 시작 시 MDP의 사후 분포에서 단일 MDP를 샘플링한다.
• 그 후 샘플된 MDP에 대해 최적 정책을 계산하고 에피소드 기간 동안 실행한다.
• 알고리즘은 관측된 데이터에 따라 순차적으로 업데이트되는 MDP 전이 동역학과 보상 분포에 대한 사전 분포를 유지한다.
• 손실 분석은 농도 부등식과 사후 분산에서 유도된 탐색 보너스의 합에 대한 경계를 활용한다.
• 학습 알고리즘과 이론적 분석을 분리하여 설계의灵活性와 뛰어난 성능을 가능하게 한다.
• 효율적인 사후 업데이트와 샘플링을 가능하게 하기 위해 공액 사전 분포(Dirichlet 전이에 대해, 정규-감마 보상에 대해)를 사용한다.

실험 결과

연구 질문

• RQ1 사후 샘플링은 낙관적 탐색에 의존하지 않고도 강화학습에서 증명 가능하게 효율적인 학습을 달성할 수 있는가?
• RQ2 에피소드 길이, 상태 공간 및 행동 공간 크기, 시간 수평에 따라 PSRL의 유한 시간 손실 한계는 어떻게 되는가?
• RQ3 PSRL은 손실과 학습 속도 측면에서 UCRL2와 같은 낙관적 알고리즘과 비교해 어떻게 성능을 냈는가?
• RQ4 PSRL은 사전 지식을 효과적으로 통합하고 계산적으로 효율적인가?
• RQ5 어려운 MDP에서 사후 샘플링은 낙관적 방법보다 더 뛰어난 샘플 효율성을 제공하는가?

주요 결과

• PSRL는 $\tilde{O}(\tau S\tilde{S}\tilde{A}\tilde{T})$의 기대 손실 한계를 확보하였으며, 이는 비낙관적 강화학습 알고리즘 중에서 처음으로 이뤄진 성과이다.
• 강하천 수영(MDP)에서, PSRL는 에피소드 및 무한 수평 설정 모두에서 UCRL2에 비해 총 손실을 90% 이상 감소시켰다.
• 10개 상태, 5개 행동을 가진 랜덤 MDP에서, PSRL는 10,000단계 동안 평균 손실 $7.30 \times 10^3$을 기록했고, UCRL2는 $1.13 \times 10^5$였다.
• 에피소드 및 비에피소드 설정 모두에서 PSRL는 UCRL2를 크게 능가했으며, 시간이 지남에 따라 손실 감소 속도가 더 빠르게 나타났다.
• 시뮬레이션 결과에 따르면, 사전 지식이 잘못 설정된 경우에도 PSRL의 성능은 안정적이었다.
• PSRL의 손실 한계는 사전의 구조와 무관하게 유지되며, 각 에피소드당 단일 샘플 정책 최적화 덕분에 계산적으로 효율적이다.