[论文解读] A Heuristic Search Algorithm for Solving First-Order MDPs

Eldar Karabaev, Olga Skvortsova|arXiv (Cornell University)|Aug 9, 2014

Logic, Reasoning, and Knowledge参考文献 13被引用 15

一句话总结

本文提出一种启发式搜索算法，通过结合一阶状态抽象以避免对单个状态进行评估，并利用启发式引导搜索仅关注从初始状态可达的状态，从而求解一阶马尔可夫决策过程（FOMDPs）。该方法在FCPlanner系统中实现，在2004年国际规划竞赛的概率赛道中胜出，相较于命题化方法展现出显著的效率提升。

ABSTRACT

We present a heuristic search algorithm for solving first-order MDPs (FOMDPs). Our approach combines first-order state abstraction that avoids evaluating states individually, and heuristic search that avoids evaluating all states. Firstly, we apply state abstraction directly on the FOMDP avoiding propositionalization. Such kind of abstraction is referred to as firstorder state abstraction. Secondly, guided by an admissible heuristic, the search is restricted only to those states that are reachable from the initial state. We demonstrate the usefullness of the above techniques for solving FOMDPs on a system, referred to as FCPlanner, that entered the probabilistic track of the International Planning Competition (IPC'2004).

研究动机与目标

• 解决传统MDP求解器在应用于大规模、结构化领域时的可扩展性限制。
• 通过保持符号结构，克服对一阶MDP进行命题化带来的计算不可行性。
• 通过启发式估计限制仅关注从初始状态可达的状态，从而缩小搜索空间。
• 开发一种高效规划系统，能够处理具有关系结构的复杂现实世界领域。

提出的方法

• 直接在FOMDP上应用一阶状态抽象，无需命题化，从而保持关系结构。
• 使用可采纳启发式引导搜索，避免探索无望状态。
• 基于启发式估计，仅对从初始状态可达的状态进行评估。
• 将该算法集成到FCPlanner系统中，该系统专为概率规划而设计。
• 利用符号表示避免显式枚举所有实例化状态。
• 结合抽象与启发式搜索，实现FOMDP的可扩展求解。

实验结果

研究问题

• RQ1 能否在不进行命题化的情况下，有效将一阶状态抽象应用于FOMDP，以提升可扩展性？
• RQ2 如何使启发式搜索高效地适配MDP中的符号化、关系型表示？
• RQ3 通过仅关注从初始状态可达的状态，搜索空间能被多大程度地缩小？
• RQ4 抽象与启发式搜索的混合方法是否能在复杂领域中超越传统命题化MDP求解器？
• RQ5 该系统在涉及不确定性的现实世界规划竞赛中表现如何？

主要发现

• 所提出的算法在无需命题化的情况下成功求解FOMDP，显著减少了状态空间的探索。
• 基于该方法的FCPlanner在2004年国际规划竞赛的概率赛道中胜出。
• 一阶状态抽象与启发式搜索的结合，相较于基线方法带来了显著的性能提升。
• 该系统在复杂、关系型领域中表现出可扩展性，而这些领域对命题化MDP求解器而言是难以处理的。
• 使用可采纳启发式确保了最优策略的计算，同时保持了计算效率。
• 结果证实，符号推理与启发式搜索的结合在大规模概率规划中是可行且有效的。