[论文解读] A Theory of Goal-Oriented MDPs with Dead Ends

Andrey Kolobov, Daniel S. Weld+1 more|arXiv (Cornell University)|Oct 16, 2012

Bayesian Modeling and Causal Inference参考文献 13被引用 45

一句话总结

本文提出了三种新的面向目标的MDP类别，这些类别明确允许存在死胡同状态——此前在标准随机最短路径（SSP）MDP中被排除——且在逐步减弱的假设下实现。该文提出了基于值迭代和启发式搜索的最优解算法，建立了严谨的理论框架，并在不可避免死胡同的问题（如风暴风险下的飞机飞行规划）中展示了性能提升。

ABSTRACT

Stochastic Shortest Path (SSP) MDPs is a problem class widely studied in AI, especially in probabilistic planning. They describe a wide range of scenarios but make the restrictive assumption that the goal is reachable from any state, i.e., that dead-end states do not exist. Because of this, SSPs are unable to model various scenarios that may have catastrophic events (e.g., an airplane possibly crashing if it flies into a storm). Even though MDP algorithms have been used for solving problems with dead ends, a principled theory of SSP extensions that would allow dead ends, including theoretically sound algorithms for solving such MDPs, has been lacking. In this paper, we propose three new MDP classes that admit dead ends under increasingly weaker assumptions. We present Value Iteration-based as well as the more efficient heuristic search algorithms for optimally solving each class, and explore theoretical relationships between these classes. We also conduct a preliminary empirical study comparing the performance of our algorithms on different MDP classes, especially on scenarios with unavoidable dead ends.

研究动机与目标

• 为解决标准随机最短路径（SSP）MDP的局限性，即假设从每个状态均可到达目标，因此无法建模死胡同状态。
• 为允许存在死胡同状态（如系统故障或灾难性事件）的MDP建立一个严谨的理论框架。
• 为这些扩展的MDP类别设计最优解算法，包括基于值迭代和启发式搜索的算法。
• 分析所提MDP类别之间的理论关系，并通过实证评估其性能。
• 使现实场景中不可避免风险的建模成为可能，例如飞机飞入风暴时，死胡同代表系统故障。

提出的方法

• 提出对MDP结构的三种逐步减弱的假设，以允许存在死胡同：(1) 从所有状态均可到达目标；(2) 从无风险可达的状态可到达目标；(3) 从无死胡同转移可达的状态可到达目标。
• 为每种类别的MDP引入基于值迭代的算法，并在各自假设下提供收敛性保证。
• 开发了比值迭代更高效的启发式搜索算法（例如基于势函数的算法），用于求解这些MDP。
• 定义了一种新颖的势函数，用于启发式搜索，确保在存在死胡同时仍具备可采纳性与最优性。
• 建立了三种类别MDP之间的理论关系，表明每一类都是前一类的真超集。
• 在包含不可避免死胡同的合成与真实场景中进行初步实证评估，以比较算法性能。

实验结果

研究问题

• RQ1 如何在保留最优性保证的前提下，形式化扩展MDP以允许存在死胡同状态？
• RQ2 在存在死胡同的情况下，确保目标可达性与最优策略计算所需的最小结构假设是什么？
• RQ3 在存在死胡同的MDP中，启发式搜索算法与值迭代在效率和可扩展性方面如何比较？
• RQ4 所提MDP类别之间的理论关系是什么？它们如何推广标准SSP？
• RQ5 所提框架能否有效建模现实世界中不可避免灾难性事件的问题，如飞机在风暴中坠毁？

主要发现

• 所提出的MDP类别通过在逐步减弱的假设下允许死胡同，推广了标准SSP，使风险敏感环境的建模成为可能。
• 启发式搜索算法在运行时间与可扩展性方面显著优于值迭代，尤其在不可避免死胡同的问题中表现更优。
• 理论分析证实，每一类MDP都严格比前一类更通用，表达能力与适用范围逐步增强。
• 实证评估表明，启发式搜索方法在保持最优性的同时，显著提升了基准问题中存在死胡同场景的求解速度。
• 该框架成功建模了包含灾难性事件的场景，如飞机飞入风暴，其中死胡同代表系统故障。
• 所提出的启发式搜索势函数确保了在存在死胡同时仍具备可采纳性，并能收敛至最优策略。