[论文解读] Learning in POMDPs with Monte Carlo Tree Search

Sammie Katt, Frans A. Oliehoek+1 more|arXiv (Cornell University)|Jun 14, 2018

Reinforcement Learning in Robotics参考文献 16被引用 3

一句话总结

本文提出 BA-POMCP，一种用于贝叶斯自适应 POMDP 的蒙特卡洛树搜索扩展方法，可在部分可观察环境中实现高效在线学习，且环境动态未知。通过利用根采样、期望模型、状态链接和结构化模型表示，BA-POMCP 实现了向最优解的收敛，并可扩展至以往对 BA-POMDP 不可行的大规模问题。

ABSTRACT

The POMDP is a powerful framework for reasoning under outcome and information uncertainty, but constructing an accurate POMDP model is difficult. Bayes-Adaptive Partially Observable Markov Decision Processes (BA-POMDPs) extend POMDPs to allow the model to be learned during execution. BA-POMDPs are a Bayesian RL approach that, in principle, allows for an optimal trade-off between exploitation and exploration. Unfortunately, BA-POMDPs are currently impractical to solve for any non-trivial domain. In this paper, we extend the Monte-Carlo Tree Search method POMCP to BA-POMDPs and show that the resulting method, which we call BA-POMCP, is able to tackle problems that previous solution methods have been unable to solve. Additionally, we introduce several techniques that exploit the BA-POMDP structure to improve the efficiency of BA-POMCP along with proof of their convergence.

研究动机与目标

• 解决由于状态空间可数无限而导致在非平凡领域中求解贝叶斯自适应 POMDP（BA-POMDP）不切实际的问题。
• 扩展 POMCP 算法以处理 BA-POMDP 的贝叶斯学习特性，实现在模型不确定情况下的在线规划。
• 通过利用 BA-POMDP 的结构性质（如狄利克雷先验和充分统计量）提升样本效率和可扩展性。
• 为所提出的改进提供理论收敛保证，确保学习过程的正确性。
• 实现在全模型知识不可用的复杂、部分可观察环境中对贝叶斯强化学习的实际部署。

提出的方法

• 通过在可能的环境模型上维护信念，将 POMCP 的在线、基于样本的规划方法适配到 BA-POMDP 框架中。
• 引入根采样，从智能体的信念中采样初始状态，提升在模型空间中的探索效率。
• 实现期望模型采样，以近似模型分布上的期望回报，降低价值估计的方差。
• 提出状态链接技术，以压缩并高效表示模型空间，降低计算开销。
• 利用共轭先验（狄利克雷分布）通过充分统计量进行解析模型信念更新，实现高效的贝叶斯更新。
• 在标准 MCTS 假设下，证明修改后的算法可收敛至真实 BA-POMDP 解，确保理论上的严谨性。

实验结果

研究问题

• RQ1 蒙特卡洛树搜索能否被有效扩展以求解贝叶斯自适应 POMDP？这类问题在执行过程中需学习环境模型。
• RQ2 如何在保持最优性保证的前提下，降低由于模型空间无限而导致的 BA-POMDP 计算复杂度？
• RQ3 哪些采样与表示技术可提升在线贝叶斯 POMDP 规划中的样本效率与可扩展性？
• RQ4 所提出的 BA-POMCP 方法是否能在 BA-POMDP 框架中收敛至最优策略？
• RQ5 BA-POMDP 的结构性质（如狄利克雷共轭性）能否被利用以设计更高效的推理与规划算法？

主要发现

• BA-POMCP 有效解决了以往方法难以处理的 BA-POMDP 问题，展示了在更大规模领域中的可扩展性。
• 根采样与期望模型的结合显著提升了样本效率，并降低了价值估计的方差。
• 状态链接技术降低了模型表示的维度，从而加快信念更新速度并减少内存占用。
• 理论收敛性证明表明，随着模拟次数增加，BA-POMCP 可收敛至底层 BA-POMDP 的最优解。
• 实验结果表明，在部分可观察且模型未知的环境中，BA-POMCP 在累积奖励和学习速度方面均优于基线方法。
• 使用共轭先验（狄利克雷分布）可实现模型信念的精确贝叶斯更新，提升了学习过程中的准确性和稳定性。