[论文解读] Monte Carlo Information-Oriented Planning

Vincent Thomas, Gérémy Hutin+1 more|arXiv (Cornell University)|Mar 21, 2021

Simulation Techniques and Applications被引用 5

一句话总结

本文提出 ρ-POMCP(β)，一种用于求解 ρ-POMDPs（信念相关奖励的部分可观察马尔可夫决策过程）的蒙特卡洛树搜索算法，利用粒子滤波估计信念状态和奖励。该方法可对任意连续有界奖励函数 ρ 实现高效的在线规划，并在渐近意义上收敛至 ɛ-最优值，在信息收集任务中优于贪心和基线方法。

ABSTRACT

In this article, we discuss how to solve information-gathering problems expressed as rho-POMDPs, an extension of Partially Observable Markov Decision Processes (POMDPs) whose reward rho depends on the belief state. Point-based approaches used for solving POMDPs have been extended to solving rho-POMDPs as belief MDPs when its reward rho is convex in B or when it is Lipschitz-continuous. In the present paper, we build on the POMCP algorithm to propose a Monte Carlo Tree Search for rho-POMDPs, aiming for an efficient on-line planner which can be used for any rho function. Adaptations are required due to the belief-dependent rewards to (i) propagate more than one state at a time, and (ii) prevent biases in value estimates. An asymptotic convergence proof to epsilon-optimal values is given when rho is continuous. Experiments are conducted to analyze the algorithms at hand and show that they outperform myopic approaches.

研究动机与目标

• 解决现有 ρ-POMDP 求解器对信念相关奖励函数 ρ 的凸性或利普希茨连续性要求的局限性。
• 为具有任意连续奖励函数 ρ 的信息收集问题实现在线规划，包括非凸和非利普希茨情况。
• 开发一种可扩展的、基于模拟的方法，避免依赖值函数近似器或基于模型的假设。
• 通过将粒子滤波集成到蒙特卡洛树搜索中，改进 ρ-POMDP 中的信念估计与值估计。
• 在 ρ 满足连续性和有界性等弱条件下，为所提算法提供理论收敛保证。

提出的方法

• 通过在树搜索中考虑每个信念状态 b 处的信念相关奖励 ρ(b)，将 POMCP 算法适配至 ρ-POMDPs。
• 提出 ρ-POMCP(β)，一种使用包含 β 个粒子的粒子滤波器，在模拟过程中估计信念状态和相关奖励的变体。
• 通过从根节点到每个节点传播粒子来维护信念估计，即使初始信念近似较差，也能确保奖励估计的准确性。
• 在树选择阶段应用 UCB1 公式以平衡探索与利用，同时对信念相关奖励进行修改。
• 使用重要性采样而非拒绝采样，以提高采样效率，尤其在观测空间较大或高度随机的问题中。
• 引入 lru-ρ-POMCP(β) 和 lvu-ρ-POMCP(β) 等变体，利用最新的值估计减少值估计偏差，但实验中未观察到显著性能提升。

实验结果

研究问题

• RQ1 能否在不需凸性或利普希茨连续性假设的前提下，将蒙特卡洛树搜索方法有效适配至具有任意连续有界奖励函数 ρ 的 ρ-POMDPs？
• RQ2 将粒子滤波集成到模拟过程中，相较于标准 POMCP，如何提升 ρ-POMCP(β) 中的信念与奖励估计？
• RQ3 当 ρ 连续且有界时，ρ-POMCP(β) 是否能实现渐近收敛至 ɛ-最优策略？
• RQ4 在多样化的信息收集问题中，ρ-POMCP(β) 与贪心和基线规划方法相比，累积回报表现如何？
• RQ5 在高维观测空间问题中，采样策略（拒绝采样 vs. 重要性采样）对计算效率和性能有何影响？

主要发现

• 当奖励函数 ρ 连续且有界时，ρ-POMCP(β) 渐近收敛至 ɛ-最优值，确立了理论有效性。
• ρ-POMCP(β) 在累积回报方面优于贪心和基线方法，尤其在信念动力学复杂的任务（如 LostOrFound）中表现更优。
• 重要性采样在小型问题上将计算时间减少 20%，在大型或高度随机问题（如 TigerGrid、Hallway2）上减少高达 8 倍，显著提升效率。
• 在信念估计不佳的问题中，ρ-POMCP(β) 中使用粒子滤波相比原始 ρ-POMCP（β=0）表现更优，尤其在固定时间预算下。
• 尽管理论上有优势，但 lru-ρ-POMCP(β) 和 lvu-ρ-POMCP(β) 变体在固定预算实验中未表现出显著优于标准 ρ-POMCP(β) 的性能。
• 该算法在多样化信息收集任务中表现出鲁棒性，包括需要隐私意识信息收集或对抗性信息最小化的任务，这些任务无法由先前的 PWLC 或 LC 基础方法建模。