[论文解读] Adaptive Belief Discretization for POMDP Planning

Divya Grover, Christos Dimitrakakis|arXiv (Cornell University)|Apr 15, 2021

Formal Methods in Verification参考文献 14被引用 4

一句话总结

该论文提出了一种用于在线POMDP规划的自适应信念离散化方法，通过根据前瞻深度动态细化信念空间覆盖，降低了内存和计算复杂度。该方法提供了规划误差和覆盖数的理论边界，从而实现一种计算高效、调参极少的求解器（FMP），其性能与当前最先进方法相当或更优。

ABSTRACT

Partially Observable Markov Decision Processes (POMDP) is a widely used model to represent the interaction of an environment and an agent, under state uncertainty. Since the agent does not observe the environment state, its uncertainty is typically represented through a probabilistic belief. While the set of possible beliefs is infinite, making exact planning intractable, the belief space's complexity (and hence planning complexity) is characterized by its covering number. Many POMDP solvers uniformly discretize the belief space and give the planning error in terms of the (typically unknown) covering number. We instead propose an adaptive belief discretization scheme, and give its associated planning error. We furthermore characterize the covering number with respect to the POMDP parameters. This allows us to specify the exact memory requirements on the planner, needed to bound the value function error. We then propose a novel, computationally efficient solver using this scheme. We demonstrate that our algorithm is highly competitive with the state of the art in a variety of scenarios.

研究动机与目标

• 为解决由于信念空间无限导致的精确POMDP规划内存和计算成本过高的问题。
• 通过用基于前瞻深度的自适应方案替代均匀信念离散化，减少规划误差。
• 提供以POMDP参数表示的信念空间覆盖数的显式理论边界。
• 设计一种可通过可调离散化参数直接控制规划误差的规划器。
• 开发一种计算高效的在线POMDP求解器，同时在极少超参数调优下保持强大性能。

提出的方法

• 提出一种自适应离散化方案，生成依赖于前瞻深度和误差容限的信念空间覆盖。
• 使用epsilon-覆盖来近似信念空间，通过基于深度相关误差边界的动态细化最小化覆盖大小。
• 利用POMDP参数（如状态空间大小、动作空间大小和折扣因子）推导信念空间覆盖数的理论上限。
• 将自适应离散化集成到一种新型在线规划器（FMP）中，构建具有可控误差的深层前瞻树。
• 采用信念树搜索策略，优先探索不确定性较高或潜在价值较大的信念空间区域，由自适应覆盖引导。
• 通过调节离散化序列 $\epsilon_d$ 和初始分辨率 $h_0$，在在线规划限制内平衡误差与计算成本。

实验结果

研究问题

• RQ1 如何使信念空间离散化自适应于前瞻深度，以在POMDP规划中降低内存和计算复杂度？
• RQ2 信念空间覆盖数与底层POMDP参数之间存在何种理论关系？
• RQ3 与均匀离散化相比，自适应离散化方案能否提供更紧的规划误差边界？
• RQ4 所提方法的误差边界如何与规划器的内存和计算需求相关联？
• RQ5 一种简单且低调参的规划器在多大程度上可实现与当前最先进POMDP求解器相当的性能？

主要发现

• FMP规划器在RockSample和RandomPOMDP环境中实现了具有竞争力的性能，其平均折扣奖励与POMCP和DESPOT相当或更优，尽管使用的是较慢的Python实现。
• 在RS[15,15]环境中，FMP获得了15.67 ± 0.37的折扣奖励，优于报告结果中的POMCP（15.32 ± 0.28）和DESPOT（18.64 ± 0.28）。
• 在RandomPOMDP中，FMP在低稀疏性设置下表现最佳（例如，RP[30,0.9]中得分为6.36），在初始信念数量较多时展现出强劲性能。
• 该规划器在不同环境下的性能稳定，仅需调节 $h_0$ 和 $\epsilon_d$ 序列，而POMCP和DESPOT则需要多个复杂超参数。
• 理论分析表明，信念空间的覆盖数可由POMDP参数精确界定，从而实现对内存和误差的精确控制。
• 自适应离散化方案显著减小了信念覆盖的大小，直接降低了内存和计算开销。