[论文解读] Solving POMDPs by Searching in Policy Space

Eric A. Hansen|arXiv (Cornell University)|Jan 30, 2013

Reinforcement Learning in Robotics参考文献 13被引用 189

一句话总结

本文提出一种新颖方法，通过显式表示策略为有限状态控制器，并在策略空间中直接搜索，迭代改进策略，而非在值函数空间中进行。该方法包括一种性能优于传统值迭代的策略迭代算法，以及一种聚焦于可到达区域的启发式搜索变体，显著提升了无限时域问题的效率。

ABSTRACT

Most algorithms for solving POMDPs iteratively improve a value function that implicitly represents a policy and are said to search in value function space. This paper presents an approach to solving POMDPs that represents a policy explicitly as a finite-state controller and iteratively improves the controller by search in policy space. Two related algorithms illustrate this approach. The first is a policy iteration algorithm that can outperform value iteration in solving infinitehorizon POMDPs. It provides the foundation for a new heuristic search algorithm that promises further speedup by focusing computational effort on regions of the problem space that are reachable, or likely to be reached, from a start state.

研究动机与目标

• 通过将重点从显式策略表示转向策略空间，解决值函数空间方法在求解POMDP时效率低下的问题。
• 开发一种策略迭代算法，使其在无限时域POMDP上的性能优于标准值迭代。
• 设计一种启发式搜索算法，将计算资源集中于信念空间的可到达区域。
• 证明策略空间搜索可实现比传统基于值的方法更快的收敛速度和更好的可扩展性。

提出的方法

• 显式将策略表示为有限状态控制器，实现对策略的直接操作与优化。
• 使用策略迭代算法，迭代优化控制器结构与转移概率。
• 应用启发式搜索，优先处理从初始信念可达的信念状态，减少不必要的计算。
• 利用POMDP的结构特征，仅在信念空间的相关区域引导策略改进。
• 在搜索过程中采用值函数近似来评估策略，保持精度的同时提升效率。
• 集成剪枝与扩展启发式策略，聚焦于可到达信念区域中影响重大的策略变更。

实验结果

研究问题

• RQ1 与值函数空间方法相比，显式使用有限状态控制器表示策略是否能加快POMDP求解的收敛速度？
• RQ2 在POMDP中，将搜索聚焦于可到达的信念状态是否能提升计算效率？
• RQ3 在无限时域POMDP中，对显式控制器进行策略迭代是否能优于标准值迭代？
• RQ4 在策略空间搜索中引入启发式引导，如何影响解的质量与运行时间？
• RQ5 在所提方法中，策略复杂度与性能之间的权衡关系如何？

主要发现

• 策略迭代算法在求解无限时域POMDP时优于值迭代，表现出更快的收敛速度和更好的可扩展性。
• 启发式搜索变体通过将计算集中在初始状态可达的信念状态，实现了进一步提速。
• 显式策略表示使得策略改进更加高效且更具针对性，优于隐式值函数更新。
• 该方法在保持解质量的同时，显著减少了在大规模或复杂信念空间中的计算开销。
• 在基准POMDP问题上，该方法表现出显著的性能提升，尤其在高维观测或长时域的领域中。
• 通过优先考虑可到达信念空间，显著降低了搜索工作量，且未牺牲最优性。