[论文解读] FHHOP: A Factored Hybrid Heuristic Online Planning Algorithm for Large POMDPs

Zongzhang Zhang, Xiaoping Chen|arXiv (Cornell University)|Oct 16, 2012

Reinforcement Learning in Robotics参考文献 25被引用 9

一句话总结

FHHOP 是一种针对大规模部分可观察马尔可夫决策过程（POMDP）的新型在线规划算法，通过结合因子化状态表示与混合启发式搜索策略，提升了可扩展性与解的质量。该算法通过利用因子化结构并结合自适应启发式引导，高效聚焦于相关信念状态，从而在基准问题上优于当前最先进的在线启发式搜索方法。

ABSTRACT

Planning in partially observable Markov decision processes (POMDPs) remains a challenging topic in the artificial intelligence community, in spite of recent impressive progress in approximation techniques. Previous research has indicated that online planning approaches are promising in handling large-scale POMDP domains efficiently as they make decisions "on demand" instead of proactively for the entire state space. We present a Factored Hybrid Heuristic Online Planning (FHHOP) algorithm for large POMDPs. FHHOP gets its power by combining a novel hybrid heuristic search strategy with a recently developed factored state representation. On several benchmark problems, FHHOP substantially outperformed state-of-the-art online heuristic search approaches in terms of both scalability and quality.

研究动机与目标

• 解决在全状态表示计算上不可行的大规模 POMDP 规划问题。
• 通过利用因子化状态表示，提升 POMDP 在线规划的可扩展性与解的质量。
• 开发一种混合启发式搜索策略，以在信念空间中动态平衡探索与利用。
• 通过聚焦于相关信念状态而非在整个状态空间上预计算，实现高效的按需决策。

提出的方法

• FHHOP 使用因子化状态表示将信念空间分解为条件独立的组成部分，从而降低计算复杂度。
• 它采用一种混合启发式搜索策略，结合值函数近似与领域特定启发式，引导搜索朝向高价值动作。
• 该算法通过仅在有希望的路径上逐步扩展信念树，实现在线规划，避免了全面探索。
• 它集成了对转移与观测模型的因子化表示，以保持信念更新的紧凑性与高效性。
• 启发式函数在搜索过程中根据当前信念状态与动作结果自适应地进行优化。
• FHHOP 使用有界宽度搜索策略控制内存与计算开销，确保在大规模 POMDP 中的可扩展性。

实验结果

研究问题

• RQ1 因子化表示是否能显著提升大规模 POMDP 在线规划的可扩展性？
• RQ2 将领域特定启发式与值函数近似相结合，对在线 POMDP 规划的解质量有何影响？
• RQ3 混合启发式搜索在多大程度上能减少信念扩展次数，同时保持近似最优策略？
• RQ4 与标准在线启发式搜索方法相比，因子化结构的整合是否在基准 POMDP 问题上带来更好的性能？
• RQ5 在大规模 POMDP 中，采用自适应启发式引导的在线规划是否能优于离线或全值函数方法？

主要发现

• FHHOP 在多个基准 POMDP 问题上优于当前最先进的在线启发式搜索方法，展现出更优的可扩展性。
• 该算法通过利用因子化表示，避免了全状态信念空间的枚举，从而显著降低了计算时间与内存使用。
• 平均而言，FHHOP 找到的策略具有更高的期望回报，尤其在高维 POMDP 中表现更优。
• 混合启发式策略通过聚焦于相关信念区域，加速了向高质量动作的收敛。
• FHHOP 在多种问题领域中均保持了强劲性能，包括网格世界与机器人导航任务。
• 因子化结构与自适应启发式的结合，使 FHHOP 能够扩展至远大于以往在线方法可处理的规模的 POMDP 状态空间。