[论文解读] Bayesian Reinforcement Learning via Deep, Sparse Sampling

Divya Grover, Debabrota Basu+1 more|arXiv (Cornell University)|Feb 7, 2019

Reinforcement Learning in Robotics参考文献 21被引用 4

一句话总结

该论文提出DSS（深度稀疏采样），一种贝叶斯强化学习算法，通过策略采样构建更深层、更稀疏的信念状态规划树，实现高效且无需乐观性假设的探索。该方法通过采样长期选项而非单个动作，显著降低了计算成本，同时实现了最先进性能，并提供了相对于贝叶斯最优策略的PAC风格子优性理论边界。

ABSTRACT

We address the problem of Bayesian reinforcement learning using efficient model-based online planning. We propose an optimism-free Bayes-adaptive algorithm to induce deeper and sparser exploration with a theoretical bound on its performance relative to the Bayes optimal policy, with a lower computational complexity. The main novelty is the use of a candidate policy generator, to generate long-term options in the planning tree (over beliefs), which allows us to create much sparser and deeper trees. Experimental results on different environments show that in comparison to the state-of-the-art, our algorithm is both computationally more efficient, and obtains significantly higher reward in discrete environments.

研究动机与目标

• 通过实现更深层、更稀疏的树扩展，解决贝叶斯强化学习中贝叶斯最优规划的计算不可行性问题。
• 通过使用策略采样引导探索，消除对不确定性面前乐观性假设的依赖。
• 在保持相对于贝叶斯最优策略的强理论性能保证的同时，降低计算复杂度。
• 与现有最先进方法相比，提升离散MDP环境中的样本效率和长期奖励累积能力。

提出的方法

• 该算法构建一个信念树，其中节点表示信息状态，并使用候选策略生成器采样整个长期规划策略，而非单个动作。
• 在每个规划步骤中，仅采样并扩展有限数量的高期望奖励策略，极大降低分支因子，从而实现更深的树生长。
• 该方法采用PAC（可能近似正确）规划框架，以界定DSS策略与贝叶斯最优策略之间的子优性差距。
• 它使用类似Thompson采样的方式，从MDP模型的后验信念中采样策略，以生成多样且高质量的选项用于树扩展。
• 与BFS3中维护信念节点的上下界不同，DSS直接从后验分布采样以选择动作，从而简化计算。
• 该算法在K步规划时域内进行规划，每K步更新一次策略，从而在保持长期性能的同时降低每步计算开销。

实验结果

研究问题

• RQ1 能否通过策略级采样构建更深层、更稀疏的规划树，以提升贝叶斯强化学习中的探索效率？
• RQ2 在信念MDP规划中，消除不确定性面前的乐观性是否能带来更好的长期性能和更低的计算成本？
• RQ3 所提出的DSS算法与贝叶斯最优策略之间的理论子优性差距是多少？该差距如何随规划深度K变化？
• RQ4 在奖励和计算效率方面，DSS与最先进BAMDP算法（如BAMCP、BFS3和SBOSS）相比表现如何？
• RQ5 与动作级采样相比，使用策略采样是否能加快对真实模型的收敛速度并获得更高的累积奖励？

主要发现

• 在所有测试环境（包括Chain、DoubleLoop、Grid5、Grid10和Maze）中，DSS在累积奖励方面均优于所有最先进算法，且差异具有统计显著性。
• 在Maze环境中，DSS实现了1532.0的平均累积奖励，超过BAMCP（1789.4）和BFS3（3558.7），尽管BFS3超出时间限制，表明DSS具有更高的效率。
• DSS的平均每步奖励高于所有基线方法，尤其在训练早期阶段表现更优，证明其具有卓越的探索能力。
• 在计算方面，与BFS3相比，DSS显著减少了每集运行时间，且即使在BAMCP性能随采样增加而下降时，DSS仍常表现更优。
• 随着超参数N和M的增加，该算法性能迅速趋于平稳，表明其收敛速度快且对超参数调优具有鲁棒性。
• 理论分析证实，DSS与贝叶斯最优策略之间的子优性差距是受控的，并随规划深度K的增加而减小，提供了强有力的PAC风格保证。