[论文解读] Efficient Bayes-Adaptive Reinforcement Learning using Sample-Based Search

Arthur Guez, David Silver+1 more|arXiv (Cornell University)|May 14, 2012

Reinforcement Learning in Robotics参考文献 25被引用 98

一句话总结

该论文提出BAMCP，一种基于采样的蒙特卡洛树搜索算法，用于高效贝叶斯自适应强化学习。该方法通过在每次模拟的根节点处懒惰地从信念分布中采样MDP模型，避免了规划过程中的昂贵贝叶斯更新。BAMCP在基准任务上实现了最先进性能，并可扩展至具有结构化先验的无限状态域，在无限采样下证明了其收敛至贝叶斯最优策略。

ABSTRACT

Bayesian model-based reinforcement learning is a formally elegant approach to learning optimal behaviour under model uncertainty, trading off exploration and exploitation in an ideal way. Unfortunately, finding the resulting Bayes-optimal policies is notoriously taxing, since the search space becomes enormous. In this paper we introduce a tractable, sample-based method for approximate Bayes-optimal planning which exploits Monte-Carlo tree search. Our approach outperformed prior Bayesian model-based RL algorithms by a significant margin on several well-known benchmark problems -- because it avoids expensive applications of Bayes rule within the search tree by lazily sampling models from the current beliefs. We illustrate the advantages of our approach by showing it working in an infinite state space domain which is qualitatively out of reach of almost all previous work in Bayesian exploration.

研究动机与目标

• 解决在具有模型不确定性的大规模或复杂MDP中精确贝叶斯强化学习的计算不可行性。
• 开发一种可处理、可扩展的贝叶斯最优规划方法，避免在搜索过程中重复进行贝叶斯更新。
• 在对MDP动态具有丰富、结构化先验知识的领域中实现有效探索。
• 将贝叶斯强化学习的适用范围扩展至传统方法因信念空间和状态空间爆炸而失效的无限状态MDP。
• 实现可证明收敛的基于样本的规划，在降低计算成本的同时保持贝叶斯最优性。

提出的方法

• BAMCP在贝叶斯自适应MDP（BAMDP）上使用蒙特卡洛树搜索（MCTS）进行模型不确定性下的规划。
• 在每次模拟中，从智能体当前对动态的信念分布中采样一个单一MDP，避免在滚动过程中重复更新信念。
• 该算法采用根采样策略，仅在每次模拟开始时采样模型，从而降低贝叶斯推理的开销。
• 使用无模型强化学习算法（例如Q-learning）来学习滚动策略，以从采样的MDP中模拟轨迹。
• 引入一种懒惰采样方案，以高效地从后验信念中采样，而无需完整贝叶斯更新，尤其在非共轭或高维先验下至关重要。
• 搜索树中的价值估计基于从采样MDP中模拟的回报进行更新，通过整合大量此类样本以近似贝叶斯最优价值函数。

实验结果

研究问题

• RQ1 基于采样的MCTS方法是否能在显著降低计算成本的前提下实现贝叶斯强化学习中的贝叶斯最优规划？
• RQ2 从信念分布中懒惰采样MDP模型相比在搜索过程中进行完整贝叶斯更新，在可扩展性方面有何改进？
• RQ3 BAMCP是否能有效处理具有无限状态空间和结构化动力学先验的领域，而先前的贝叶斯RL方法在此类场景中失败？
• RQ4 编码在信念分布中的先验知识在多大程度上提升了学习性能和样本效率？
• RQ5 在充分采样下，所提方法是否收敛至贝叶斯最优策略？其与现有算法的实证比较如何？

主要发现

• BAMCP在标准基准问题（包括4x3网格和8x8网格任务）上显著优于先前的贝叶斯RL算法，无论在未折扣还是折扣累积奖励下均表现优异。
• 该算法实现了最先进性能，优于包括基于UCT的方法和无模型RL在内的贝叶斯与非贝叶斯基线方法。
• 在具有相关行与列动态的无限2D网格任务中，BAMCP成功实现了规划与学习，尽管信念空间不可计算，而先前方法在此失败。
• 随着规划时间增加，性能持续提升，且先验质量对学习速度和最终性能有明显影响，证明了对先验知识的有效利用。
• 懒惰采样方案使从复杂、非共轭后验中高效采样成为可能，例如在无限网格中由Beta分布参数化的行与列参数所导致的后验。
• 理论上证明了在无限采样下，该方法收敛至贝叶斯最优策略，验证了方法在极限情况下的最优性。