[论文解读] A Bayesian Sampling Approach to Exploration in Reinforcement Learning

John Asmuth, Lihong Li+3 more|arXiv (Cornell University)|May 9, 2012

Reinforcement Learning in Robotics参考文献 17被引用 153

一句话总结

本文提出 BOSS，一种基于贝叶斯采样的强化学习探索方法，通过从后验分布中采样的一组模型中选择表现最佳的动作来实现探索。通过动态重采样和模型组合，BOSS 在样本复杂度较低的情况下实现了接近最优的奖励，优于当前最先进方法，同时保持了对非参数模型的灵活性。

ABSTRACT

We present a modular approach to reinforcement learning that uses a Bayesian representation of the uncertainty over models. The approach, BOSS (Best of Sampled Set), drives exploration by sampling multiple models from the posterior and selecting actions optimistically. It extends previous work by providing a rule for deciding when to resample and how to combine the models. We show that our algorithm achieves nearoptimal reward with high probability with a sample complexity that is low relative to the speed at which the posterior distribution converges during learning. We demonstrate that BOSS performs quite favorably compared to state-of-the-art reinforcement-learning approaches and illustrate its flexibility by pairing it with a non-parametric model that generalizes across states.

研究动机与目标

• 通过原则化的贝叶斯方法解决强化学习中的探索-利用权衡问题。
• 开发一种模块化框架，通过模型采样实现高效且自适应的探索。
• 在保持学习过程中高概率接近最优性的同时，降低样本复杂度。
• 实现与非参数模型的兼容性，以提升在状态间的泛化能力。
• 提供一种动态重采样与模型组合的规则，以提升学习效率。

提出的方法

• 从环境动态的后验分布中采样多个模型。
• 基于采样集中预测期望回报最高的模型来选择动作（乐观选择）。
• 引入一种重采样规则，根据不确定性和学习进度判断何时更新采样模型集合。
• 通过加权聚合策略组合采样模型，以提高鲁棒性并降低动作选择中的方差。
• 该方法设计为模块化，可与各种函数逼近器集成，包括非参数模型。
• 该算法确保以较低的样本复杂度实现高概率收敛至接近最优策略，且相对于后验收敛速度表现优异。

实验结果

研究问题

• RQ1 如何利用贝叶斯采样在强化学习中有效平衡探索与利用？
• RQ2 在后验采样框架中，应以何种标准决定何时重采样模型？
• RQ3 与当前最先进探索策略相比，BOSS 算法在样本效率和遗憾度方面的表现如何？
• RQ4 该方法能否与非参数模型有效结合，以实现跨状态的泛化？
• RQ5 该算法的理论样本复杂度相对于后验收敛速率如何？

主要发现

• 即使在数据有限和不确定性较高的情况下，BOSS 也能以高概率实现接近最优的奖励。
• 该算法表现出较低的样本复杂度，且随后验收敛速度的提升而呈有利增长。
• 在实验评估中，BOSS 优于当前最先进强化学习方法。
• 当与非参数模型结合时，该方法依然有效，能够实现跨状态的泛化。
• 动态重采样规则通过适应不确定性和模型置信度的变化，提升了学习效率。
• 理论分析证实，该算法在最小样本需求下仍能维持高概率性能保证。