[论文解读] Cost Sensitive Reachability Heuristics for Handling State Uncertainty

Daniel Bryce, Subbarao Kambhampati|arXiv (Cornell University)|Jul 4, 2012

AI-based Problem Solving and Planning参考文献 23被引用 5

一句话总结

本文提出了一种成本敏感的可达性启发式方法，通过将动作成本意识整合到规划图启发式中，增强了非确定性条件规划器在状态不确定性下的可扩展性和高质量规划能力。与现有规划器相比，该方法在动作成本非均匀的领域中显著提升了规划质量和可扩展性。

ABSTRACT

While POMDPs provide a general platform for non-deterministic conditional planning under a variety of quality metrics they have limited scalability. On the other hand, non-deterministic conditional planners scale very well, but many lack the ability to optimize plan quality metrics. We present a novel generalization of planning graph based heuristics that helps conditional planners both scale and generate high quality plans when using actions with nonuniform costs. We make empirical comparisons with two state of the art planners to show the benefit of our techniques.

研究动机与目标

• 解决在状态不确定性下非确定性条件规划中的可扩展性与质量权衡问题。
• 将基于规划图的启发式方法扩展至部分可观察环境中，以考虑非均匀动作成本。
• 在动作成本显著变化的领域中，实现高质量且可扩展的规划。
• 弥合POMDP（具备高质量优化能力但可扩展性有限）与可扩展的非确定性规划器（缺乏成本感知优化）之间的差距。

提出的方法

• 通过修改可达性分析以反映成本敏感的路径评估，将规划图启发式方法推广以整合动作成本。
• 利用成本敏感的可达性估计来指导条件规划器中的搜索，优先选择累积成本较低的目标状态路径。
• 提出一种改进的启发式函数，结合可达性与成本到目标的估计，提升在不确定状态空间中的引导能力。
• 采用向后可达性分析，不仅追踪某状态是否可达，还追踪到达该状态的最小成本。
• 在非确定性条件规划框架中应用该启发式方法，引导搜索以生成高质量且成本效益高的规划。
• 通过与两个最先进的规划器在基准问题上的实证比较，验证了该方法的有效性。

实验结果

研究问题

• RQ1 如何将规划图启发式方法扩展以在部分可观察领域中整合非均匀动作成本？
• RQ2 成本敏感的启发式方法是否能同时提升非确定性条件规划中的可扩展性和规划质量？
• RQ3 与现有启发式方法相比，所提出的启发式方法在解决方案质量与运行时性能方面表现如何？
• RQ4 在哪些类型的领域中，成本敏感性能显著提升规划的有效性？

主要发现

• 所提出的成本敏感可达性启发式方法在非确定性规划中相比基线启发式方法显著提升了规划质量。
• 该方法在保持高解决方案质量的同时，可扩展性优于基于POMDP的方法。
• 实证评估显示，该方法在规划成本和搜索效率方面均优于两个最先进的规划器。
• 将成本信息整合到可达性分析中，可实现更有效的剪枝，并加速收敛至最优或近似最优规划。