[论文解读] Counterexample-guided Abstraction Refinement for POMDPs

Xiaobin Zhang, Bo Wu+1 more|arXiv (Cornell University)|Jan 22, 2017

Formal Methods in Verification参考文献 31被引用 6

一句话总结

本论文提出了首个用于部分可观察马尔可夫决策过程（POMDPs）的反例引导抽象精化（CEGAR）框架，引入了一种新型抽象系统模型——带z标签的0/1加权自动机（$0/1$-WA$_z$），以及一种保留概率计算树逻辑（PCTL）片段的安全模拟关系。该方法通过在抽象系统上进行模型检测并利用反例迭代精化抽象，直至对原始POMDP获得确定的验证结果，实现了状态空间复杂度降低条件下的可靠且完备的验证。

ABSTRACT

Partially Observable Markov Decision Process (POMDP) is widely used to model probabilistic behavior for complex systems. Compared with MDPs, POMDP models a system more accurate but solving a POMDP generally takes exponential time in the size of its state space. This makes the formal verification and synthesis problems much more challenging for POMDPs, especially when multiple system components are involved. As a promising technique to reduce the verification complexity, the abstraction method tries to find an abstract system with a smaller state space but preserves enough properties for the verification purpose. While abstraction based verification has been explored extensively for MDPs, in this paper, we present the first result of POMDP abstraction and its refinement techniques. The main idea follows the counterexample-guided abstraction refinement (CEGAR) framework. Starting with a coarse guess for the POMDP abstraction, we iteratively use counterexamples from formal verification to refine the abstraction until the abstract system can be used to infer the verification result for the original POMDP. Our main contributions have two folds: 1) we propose a novel abstract system model for POMDP and a new simulation relation to capture the partial observability then prove the preservation on a fragment of Probabilistic Computation Tree Logic (PCTL); 2) to find a proper abstract system that can prove or disprove the satisfaction relation on the concrete POMDP, we develop a novel refinement algorithm. Our work leads to a sound and complete CEGAR framework for POMDP.

研究动机与目标

• 为解决POMDP形式化验证中的状态空间爆炸问题，该问题因部分可观察性导致指数级复杂度。
• 将已在MDPs中取得成功的基于抽象的验证方法扩展至POMDPs，后者因部分可观察性引入了新挑战。
• 为POMDPs设计一个可靠且完备的CEGAR框架，通过反例自动生成并精化抽象。
• 定义一种新型抽象系统模型$0/1$-WA$_z$与一种模拟关系——安全模拟，以捕捉部分可观察性并保留关键PCTL属性。
• 通过迭代精化减少状态空间，实现对POMDPs有限时域安全-PCTL规格的高效验证。

提出的方法

• 提出$0/1$-WA$_z$作为POMDPs的抽象系统模型，通过引入观测标签扩展0/1加权自动机以编码部分可观察性。
• 定义一种新的模拟关系——安全模拟，其扩展了MDPs中的强模拟关系，并确保抽象系统中的属性能反映在实际POMDP中。
• 通过POMDP上的商构造构建初始粗粒度抽象，从最粗粒度的$0/1$-WA$_z$开始。
• 使用先前工作的算法在抽象系统上执行模型检测，以检测违反PCTL规格的有限路径集合（高概率下）。
• 验证检测到的反例是否为虚假（在实际POMDP中并非真实违反）或真实；若为虚假，则利用反例更新商构造以精化抽象。
• 迭代执行该过程——精化抽象并重新检查——直至抽象系统证明规格成立，或在实际POMDP中发现真实反例。

实验结果

研究问题

• RQ1 基于MDPs的抽象技术能否有效扩展至POMDPs，尽管其因部分可观察性而复杂度更高？
• RQ2 需要何种抽象系统模型与模拟关系，才能在POMDPs中保留关键PCTL属性？
• RQ3 如何利用抽象系统中的反例引导精化过程，以确保验证的可靠性和完备性？
• RQ4 能否构建一个完全自动化的、类似CEGAR的POMDP验证框架，避免完整状态空间探索？
• RQ5 如何利用从加权-POMDP导出的MDP计算最优策略并验证有限时域PCTL属性？

主要发现

• 所提出的$0/1$-WA$_z$模型成功抽象了POMDPs，通过观测标签保留了部分可观察性的本质结构。
• 安全模拟关系被证明能保留有限时域规格中PCTL的安全片段（safe-PCTL）的满足性，确保了抽象的可靠性。
• CEGAR框架具备可靠性和完备性：它要么证明规格成立，要么在实际POMDP中找到真实反例。
• 该方法通过在更小的抽象系统上执行模型检测，显著降低了验证复杂度，且精化过程由抽象模型中的反例引导。
• 在导出的MDP上计算的价值函数$V_k(h)$能正确计算满足$\mathcal{U}^{\leq k}$-有界PCTL公式的最大累积概率，其中$V_k(h_0) \unlhd p$决定公式的满足性。
• 该框架支持基于最优策略计算（如通过POMCP）在导出MDP上实现POMDPs的自动化验证，从而实现对复杂系统的可扩展分析。