[论文解读] Qualitative Analysis of POMDPs with Temporal Logic Specifications for Robotics Applications

Krishnendu Chatterjee, Martin Chmelík+2 more|arXiv (Cornell University)|Jan 1, 2014

Formal Methods in Verification参考文献 27被引用 1

一句话总结

本论文提出了首个针对机器人领域中部分可观察马尔可夫决策过程（POMDPs）的定性分析问题的实用方法，结合启发式方法与先前工作中提出的EXPTIME完全算法，实现了有限记忆控制器的可扩展合成，确保了LTL属性作为parity目标的几乎必然满足，成功在数秒至数分钟内解决了基准机器人问题。

ABSTRACT

We consider partially observable Markov decision processes (POMDPs), that are a standard framework for robotics applications to model uncertainties present in the real world, with temporal logic specifications. All temporal logic specifications in linear-time temporal logic (LTL) can be expressed as parity objectives. We study the qualitative analysis problem for POMDPs with parity objectives that asks whether there is a controller (policy) to ensure that the objective holds with probability 1 (almost-surely). While the qualitative analysis of POMDPs with parity objectives is undecidable, recent results show that when restricted to finite-memory policies the problem is EXPTIME-complete. While the problem is intractable in theory, we present a practical approach to solve the qualitative analysis problem. We designed several heuristics to deal with the exponential complexity, and have used our implementation on a number of well-known POMDP examples for robotics applications. Our results provide the first practical approach to solve the qualitative analysis of robot motion planning with LTL properties in the presence of uncertainty.

研究动机与目标

• 使用时序逻辑规范解决机器人在不确定性下的运动规划挑战。
• 解决具有parity目标的POMDPs的定性分析问题，确保LTL属性的几乎必然满足。
• 尽管该问题在理论上具有EXPTIME完全性，仍开发出可扩展且实用的有限记忆控制器算法。
• 使形式化方法能够应用于涉及部分可观察性和复杂时序需求的真实世界机器人任务。
• 通过引入针对机器人应用场景的领域特定启发式方法，克服POMDP分析的不可解性。

提出的方法

• 将LTL规范归约为确定性parity自动机，将问题转化为具有parity目标的POMDP。
• 应用针对具有parity目标的POMDPs的定性分析的EXPTIME完全算法，使用有限记忆控制器。
• 引入启发式方法以管理信念空间状态爆炸问题，重点在于信念支持集的缩减与剪枝。
• 通过增量式与符号化技术优化子集构造，避免完全显式枚举。
• 实现一个工具，当存在几乎必然获胜策略时，合成有限记忆控制器。
• 使用模型约简技术将parity目标转换为co-Büchi目标，以简化验证过程。

实验结果

研究问题

• RQ1 尽管具有EXPTIME完全性，是否能够实际求解具有parity目标的POMDPs的定性分析问题？
• RQ2 哪些启发式方法能有效减少具有时序逻辑约束的POMDPs在信念空间构造中的状态爆炸问题？
• RQ3 有限记忆控制器在真实世界机器人问题中，能在多大程度上确保LTL属性的几乎必然满足？
• RQ4 所提出的启发式方法在机器人应用中的基准POMDPs（如导航与探索）上表现如何？
• RQ5 该方法在状态空间和观测复杂性不断增加的问题上的可扩展性如何？

主要发现

• 所提出的启发式方法使EXPTIME算法具备实用性，能够在21秒内求解最多达709个状态的POMDPs。
• 所有Hallway与迷宫问题变体均在20秒内（Hallway）和12分钟内（迷宫）求解完成，包括复杂的重复性与障碍物避让目标。
• Space Shuttle与Cheese Maze问题（最多15个状态）在1.1秒内求解完成，表明在小型至中型模型上具有高效性。
• 在无启发式方法的情况下，实现失败，证实了其在所有测试示例中避免子集构造开销的必要性。
• 该方法成功处理了RS[4,2]与RS[4,3]问题，最多达3921个状态，分别在15秒与15分钟内求解完成。
• 最大求解实例为Maze B，含641个状态（约简后为642个状态），在668.17秒内求解完成，展示了其在复杂机器人任务中的可扩展性。