[论文解读] Bayesian Reinforcement Learning: A Survey

Mohammad Ghavamzadeh, Shie Mannor+2 more|CERN Document Server (European Organization for Nuclear Research)|Sep 14, 2016

Advanced Bandit Algorithms Research参考文献 145被引用 10

一句话总结

本综述全面概述了贝叶斯强化学习（BRL），通过利用贝叶斯推断统一了基于模型与无模型的方法，以处理价值函数、策略和环境动态中的不确定性。它强调了BRL如何通过后验分布自然地解决探索-利用权衡问题，并通过BEB和BOSS等算法提供理论保证，在马尔可夫决策过程（MDPs）中实现误差有界的样本高效学习。

ABSTRACT

Bayesian methods for machine learning have been widely investigated, yielding principled methods for incorporating prior information into inference algorithms. In this survey, we provide an in-depth review of the role of Bayesian methods for the reinforcement learning (RL) paradigm. The major incentives for incorporating Bayesian reasoning in RL are: 1) it provides an elegant approach to action-selection (exploration/exploitation) as a function of the uncertainty in learning; and 2) it provides a machinery to incorporate prior knowledge into the algorithms. We first discuss models and methods for Bayesian inference in the simple single-step Bandit model. We then review the extensive recent literature on Bayesian methods for model-based RL, where prior information can be expressed on the parameters of the Markov model. We also present Bayesian methods for model-free RL, where priors are expressed over the value function or policy class. The objective of the paper is to provide a comprehensive survey on Bayesian RL algorithms and their theoretical and empirical properties.

研究动机与目标

• 统一并回顾强化学习中的贝叶斯方法，涵盖基于模型与无模型的范式。
• 解释贝叶斯推断如何实现对价值函数、策略和环境动态中不确定性的合理处理。
• 分析贝叶斯方法如何通过后验分布自然地解决探索-利用权衡问题。
• 提供BEB、BOSS和汤普森采样等算法的理论基础与实证洞察。
• 强调先验在正则化及序列决策中对过拟合的鲁棒性中的作用。

提出的方法

• 使用贝叶斯推断，通过先验分布表示对环境动态、价值函数和策略的不确定性。
• 通过贝叶斯法则进行后验更新，随着智能体与环境交互收集的新数据，逐步优化信念。
• 采用汤普森采样和贝叶斯UCB进行动作选择，其中动作根据后验不确定性进行采样或选择。
• 在BEB和VBRB中引入探索奖励，其大小与后验方差或模型不确定性成比例，以引导探索。
• 在基于模型的BRL中，通过对后验分布进行动态规划来计算价值函数，如在BOSS和贝叶斯动态规划中所示。
• 采用近似推断技术（如从后验分布采样，例如SmartSampler），在保持性能的同时降低计算成本。

实验结果

研究问题

• RQ1 如何系统地将贝叶斯方法应用于基于模型与无模型的强化学习，以提升样本效率？
• RQ2 贝叶斯强化学习算法在收敛性和有界误差方面的理论保证是什么？
• RQ3 后验分布的使用如何实现对探索-利用权衡的合理处理？
• RQ4 贝叶斯先验在价值函数和策略学习中的正则化与鲁棒性方面发挥何种作用？
• RQ5 BEB和BOSS等算法如何在保持计算可行性的同时实现PAC-BAMDP保证？

主要发现

• BEB算法在规划时域H和误差ϵ下，实现了PAC-BAMDP保证，样本复杂度为O(|S||A|H^6 / ϵ^2 log(|S||A|/δ))。
• 在链状问题中，BEB在样本效率上优于非贝叶斯PAC-MDP算法，并收敛至最优策略。
• BOSS及其扩展SmartSampler在6×6迷宫等小型MDP上实现了具有竞争力的性能，通过基于后验方差自适应采样模型。
• 理论分析表明，在贝叶斯最优性下，探索奖励衰减为1/n（快于1/√n）是可能的，而这是在频率学派PAC-MDP设定下无法实现的。
• 尽管具有强大的理论保证，BEB在某些MDP中可能因探索奖励有界而无法收敛至真实最优策略，如定理4.6.4所示。
• 汤普森采样和贝叶斯UCB在多臂赌博机设置中表现有效，其经验性能与或优于经典方法。