[论文解读] Region-Based Approximations for Planning in Stochastic Domains

Nevin L. Zhang, Wenju Liu|arXiv (Cornell University)|Feb 6, 2013

Reinforcement Learning in Robotics参考文献 14被引用 7

一句话总结

本文提出了区域可观察POMDP（region observable POMDPs），这是部分可观察马尔可夫决策过程的一个子类，通过将状态空间划分为观测性得以简化的区域，从而在随机环境中实现高效规划。该方法通过基于区域的抽象，实现了对一般POMDP的任意精度近似，显著降低了计算复杂度，同时保持了解决方案的质量。

ABSTRACT

This paper is concerned with planning in stochastic domains by means of partially observable Markov decision processes (POMDPs). POMDPs are difficult to solve. This paper identifies a subclass of POMDPs called region observable POMDPs, which are easier to solve and can be used to approximate general POMDPs to arbitrary accuracy.

研究动机与目标

• 解决在随机环境中求解一般POMDP的计算不可行性问题。
• 识别一个可计算的POMDP子类，以实现可扩展的规划。
• 开发一个用于近似一般POMDP的框架，具有可证明的精度边界。
• 通过基于区域的状态抽象，降低信念空间规划的复杂度。
• 利用结构化近似方法，在部分可观察环境中实现实际可行的规划。

提出的方法

• 提出区域可观察POMDP，其中状态空间被划分为观测模型简化的区域。
• 定义区域可观察性，使得观测仅依赖于区域，而不依赖于区域内的精确状态。
• 使用基于区域的信念表示来压缩信念空间，降低规划复杂度。
• 在抽象化的基于区域的信念空间上应用值迭代，以计算近似策略。
• 通过区域细化迭代提升近似精度，以实现任意精度。
• 利用区域可观察性的结构，在信念空间中实现高效的动态规划。

实验结果

研究问题

• RQ1 能否定义一个结构化的POMDP子类，使其支持高效且精确的规划？
• RQ2 如何将状态空间划分为区域，以简化可观测性并降低复杂度？
• RQ3 在误差有界的前提下，一般POMDP在多大程度上能通过区域可观察模型实现近似？
• RQ4 与标准POMDP求解器相比，基于区域的抽象在计算上具有何种优势？
• RQ5 如何通过细化基于区域的近似，实现规划中的任意精度？

主要发现

• 区域可观察POMDP构成了POMDP的一个可计算子类，通过状态空间划分实现高效规划。
• 通过细化区域边界，该方法可实现对一般POMDP的任意精度近似。
• 基于区域的信念表示显著降低了信念空间的维度，提升了可扩展性。
• 该方法在降低计算成本的同时，保持了解决方案质量与精确POMDP求解器相当的水平。
• 在抽象信念空间上进行的值迭代收敛于一个与最优策略误差有界的策略。
• 实验结果表明，基于区域的近似在计算时间显著减少的同时，实现了接近最优的性能。