[论文解读] Approximately Optimal Monitoring of Plan Preconditions

Craig Boutilier|arXiv (Cornell University)|Jan 16, 2013

Reliability and Maintenance Optimization参考文献 14被引用 7

一句话总结

本文提出了一种基于部分可观察马尔可夫决策过程（POMDP）的近似解法，用于在人工智能规划中对计划先决条件进行最优监控。研究表明，单先决条件监控问题具有可解性，而多先决条件策略可通过单个问题的解有效近似，显著降低计算成本，同时保持较高的计划质量。

ABSTRACT

Monitoring plan preconditions can allow for replanning when a precondition fails, generally far in advance of the point in the plan where the precondition is relevant. However, monitoring is generally costly, and some precondition failures have a very small impact on plan quality. We formulate a model for optimal precondition monitoring, using partially-observable Markov decisions processes, and describe methods for solving this model efficitively, though approximately. Specifically, we show that the single-precondition monitoring problem is generally tractable, and the multiple-precondition monitoring policies can be efficitively approximated using single-precondition soultions.

研究动机与目标

• 解决人工智能规划系统中监控计划先决条件的高成本问题。
• 将先决条件监控建模为POMDP，以平衡监控成本与计划质量。
• 开发适用于多先决条件监控的可扩展方法，避免求解全POMDP的不可行性。
• 提供计算开销更低的近似但接近最优的监控策略。
• 实现对先决条件失败的早期检测，从而在不过度增加监控开销的前提下实现及时重规划。

提出的方法

• 将先决条件监控建模为部分可观察马尔可夫决策过程（POMDP），其中动作为监控决策。
• 使用信念状态表示对先决条件满足状态随时间变化的不确定性。
• 将监控策略表述为一系列决策，以最小化期望成本并保持计划质量。
• 应用动态规划技术高效求解单先决条件监控问题。
• 通过组合单个先决条件问题的解来近似多先决条件策略。
• 利用POMDP模型的结构特性以降低计算复杂度并提升可扩展性。

实验结果

研究问题

• RQ1 如何建模先决条件监控以平衡监控成本与计划质量？
• RQ2 单个先决条件最优监控的计算复杂度是多少？
• RQ3 能否通过单先决条件解有效近似多先决条件监控？
• RQ4 该近似策略在期望成本和计划质量方面与最优监控策略的差距有多大？
• RQ5 该方法在具有大量先决条件的大规模规划领域中的可扩展性极限是什么？

主要发现

• 单先决条件监控问题具有可解性，可使用标准POMDP技术求解。
• 通过组合单个先决条件解，可有效近似多先决条件监控策略。
• 该近似方法在显著降低计算成本的同时实现了接近最优的性能。
• 该方法可实现对先决条件失败的早期检测，从而支持及时重规划并提升计划鲁棒性。
• 实验结果表明，该方法在最小化监控开销的同时保持了高计划质量。
• 该框架具有可扩展性，适用于具有多个相互依赖先决条件的真实世界规划问题。