[논문 리뷰] Bayesian Reinforcement Learning: A Survey

Mohammad Ghavamzadeh, Shie Mannor외 2명|CERN Document Server (European Organization for Nuclear Research)|2016. 09. 14.

Advanced Bandit Algorithms Research참고 문헌 145인용 수 10

한 줄 요약

이 종합 검토는 베이지안 강화 학습(BRL)에 대한 포괄적인 개요를 제공하며, 가치 함수, 정책 및 환경 동역학의 불확실성을 다루기 위해 베이지안 추론을 활용하여 모델 기반 및 모델리스 접근법을 통합한다. BRL이 사후 분포를 통해 탐색-이용 갈등을 자연스럽게 해결하고, BEB 및 BOSS와 같은 알고리즘을 통해 MDP에서 오차가 유한한 샘플 효율적 학습을 위한 이론적 보장을 제공함을 강조한다.

ABSTRACT

Bayesian methods for machine learning have been widely investigated, yielding principled methods for incorporating prior information into inference algorithms. In this survey, we provide an in-depth review of the role of Bayesian methods for the reinforcement learning (RL) paradigm. The major incentives for incorporating Bayesian reasoning in RL are: 1) it provides an elegant approach to action-selection (exploration/exploitation) as a function of the uncertainty in learning; and 2) it provides a machinery to incorporate prior knowledge into the algorithms. We first discuss models and methods for Bayesian inference in the simple single-step Bandit model. We then review the extensive recent literature on Bayesian methods for model-based RL, where prior information can be expressed on the parameters of the Markov model. We also present Bayesian methods for model-free RL, where priors are expressed over the value function or policy class. The objective of the paper is to provide a comprehensive survey on Bayesian RL algorithms and their theoretical and empirical properties.

연구 동기 및 목표

• 모델 기반 및 모델리스 프레임워크를 모두 포함하여 베이지안 강화 학습 방법을 통합하고 검토하는 것.
• 베이지안 추론이 가치 함수, 정책 및 환경 동역학의 불확실성을 체계적으로 다룰 수 있도록 하는 방식을 설명하는 것.
• 사후 분포를 통해 탐색-이용 갈등을 자연스럽게 해결하는 방식을 분석하는 것.
• BEB, BOSS 및 톰슨 샘플링과 같은 알고리즘의 이론적 기초와 경험적 통찰을 제공하는 것.
• 순차적 의사결정에서 과적합에 대한 정규화 및 강건성에 기여하는 사전 분포의 역할을 부각하는 것.

제안 방법

• 환경 동역학, 가치 함수 및 정책의 불확실성을 사전 분포를 사용하여 표현하기 위해 베이지안 추론을 사용한다.
• 에이전트-환경 상호작용을 통해 수집된 새로운 데이터를 바탕으로 베이즈 규칙을 통해 사후 분포 갱신을 수행한다.
• 행동 선택에 톰슨 샘플링과 베이즈-UCB를 적용하여, 행동을 사후 불확실성 기반으로 샘플링하거나 선택한다.
• BEB 및 VBRB에서 탐색 보너스를 도입하여 사후 분산 또는 모델 불확실성 비례로 탐색을 유도한다.
• 모델 기반 BRL에서, 예를 들어 BOSS 및 베이지안 동적 프rogramming에서 사후 분포를 기반으로 동적 프로그래밍을 수행하여 가치 함수를 계산한다.
• 계산 비용을 줄이면서도 성능을 유지하기 위해 사후 분포에서 샘플링하는 근사 추론 기법(예: SmartSampler)을 활용한다.

실험 결과

연구 질문

• RQ1 모델 기반 및 모델리스 강화 학습에 대해 베이지안 방법을 체계적으로 적용하여 샘플 효율성을 향상시킬 수 있는 방법은 무엇인가?
• RQ2 수렴성 및 유한 오차 측면에서 베이지안 RL 알고리즘의 이론적 보장은 무엇인가?
• RQ3 사후 분포의 사용이 탐색-이용 갈등을 체계적으로 다룰 수 있도록 하는 방식은 무엇인가?
• RQ4 베이지안 사전 분포가 가치 함수 및 정책 학습에서 정규화 및 강건성에 어떻게 기여하는가?
• RQ5 BEB 및 BOSS와 같은 알고리즘이 계산 가능성을 유지하면서도 PAC-BAMDP 보장을 달성하는 방식은 무엇인가?

주요 결과

• BEB 알고리즘은 계획 수평 H 및 오차 ϵ에 대해 샘플 복잡도 O(|S||A|H^6 / ϵ^2 log(|S||A|/δ))를 가지며, PAC-BAMDP 보장을 달성한다.
• 체인 문제에서 BEB는 비베이지안 PAC-MDP 알고리즘보다 샘플 효율성이 뛰어나며 최적 정책으로 수렴한다.
• BOSS 및 그 확장형인 SmartSampler는 6×6 미로와 같은 작은 MDP에서 사후 분산 기반의 모델 적응적 샘플링을 통해 경쟁 가능한 성능을 달성한다.
• 이론적 분석 결과, 베이지안 최적성 하에서는 1/n(1/√n보다 빠른 감쇠) 비례로 감소하는 탐색 보너스가 가능하며, 이는 빈도주의 PAC-MDP 설정과는 다름을 보여준다.
• 강력한 이론적 보장에도 불구하고, 제한된 탐색 보너스로 인해 일부 MDP에서 진정한 최적 정책으로 수렴하지 못할 수 있으며, 이는 정리 4.6.4에서 입증되었다.
• 톰슨 샘플링 및 베이즈-UCB가 밴드잇 설정에서 효과적임이 입증되었으며, 경험적 성능가 기존 방법과 동등하거나 이를 초월한다.