[论文解读] Monte Carlo Bayesian Reinforcement Learning

Yi Wang, Kok Sung Won+2 more|arXiv (Cornell University)|Jun 27, 2012

Reinforcement Learning in Robotics参考文献 23被引用 26

一句话总结

本文提出蒙特卡洛贝叶斯强化学习（MC-BRL），一种通过采样离散模型参数假设并构建状态与参数空间上的离散部分可观察马尔可夫决策过程（POMDP）来近似贝叶斯强化学习的方法。与先前方法不同，该方法避免了共轭先验假设，并通过基于点的算法实现高效求解，在完全可观测和部分可观测环境中均实现了优异性能并具备理论保证。

ABSTRACT

Bayesian reinforcement learning (BRL) encodes prior knowledge of the world in a model and represents uncertainty in model parameters by maintaining a probability distribution over them. This paper presents Monte Carlo BRL (MC-BRL), a simple and general approach to BRL. MC-BRL samples a priori a finite set of hypotheses for the model parameter values and forms a discrete partially observable Markov decision process (POMDP) whose state space is a cross product of the state space for the reinforcement learning task and the sampled model parameter space. The POMDP does not require conjugate distributions for belief representation, as earlier works do, and can be solved relatively easily with pointbased approximation algorithms. MC-BRL naturally handles both fully and partially observable worlds. Theoretical and experimental results show that the discrete POMDP approximates the underlying BRL task well with guaranteed performance. 1.

研究动机与目标

• 开发一种通用且实用的贝叶斯强化学习方法，无需依赖共轭先验。
• 通过将问题转化为采样模型参数的离散POMDP，实现在贝叶斯强化学习中的高效推理。
• 在统一框架下支持完全可观测和部分可观测环境。
• 提供所得到的POMDP对真实BRL问题近似质量的理论保证。
• 证明基于点的POMDP求解器可在无严格分布假设的前提下有效应用于贝叶斯强化学习任务。

提出的方法

• MC-BRL从模型参数的先验分布中采样有限组假设。
• 构建一个POMDP，其状态空间为原始MDP状态空间与采样参数空间的笛卡尔积。
• 使用贝叶斯规则更新联合状态-参数空间上的信念，无需依赖共轭指数族分布。
• 利用基于点的近似推理算法（如基于信念点的值迭代或策略搜索）求解所得POMDP。
• 从POMDP中导出的策略近似于原始BRL问题的贝叶斯最优策略。
• 该方法通过将参数不确定性视为未观测状态分量，自然地处理完全可观测和部分可观测环境。

实验结果

研究问题

• RQ1 基于采样模型参数的离散POMDP公式能否有效近似真实的贝叶斯强化学习问题？
• RQ2 MC-BRL是否在不依赖共轭先验分布的情况下实现具有竞争力的性能？
• RQ3 POMDP近似在多大程度上保持了贝叶斯最优策略的理论保证？
• RQ4 基于点的POMDP求解器能否在此公式下有效应用于贝叶斯强化学习任务？
• RQ5 MC-BRL在完全可观测和部分可观测环境中表现如何？

主要发现

• 离散POMDP公式对底层贝叶斯强化学习问题提供了强有力的近似，并具备理论性能保证。
• MC-BRL在完全可观测和部分可观测环境中均实现了具有竞争力的性能，且无需依赖共轭先验。
• 该方法使标准的基于点的POMDP求解器得以应用，这些求解器计算高效且可扩展。
• 该方法具有通用性，适用于广泛模型结构，因其不依赖于特定参数族。
• 实验结果表明，采样假设集在多个基准任务中均能实现稳定且有效的策略学习。
• 该方法在整个学习过程中保持对模型参数的不确定性，从而在认知不确定性下实现稳健决策。