[論文レビュー] Counterexample-guided Abstraction Refinement for POMDPs

Xiaobin Zhang, Bo Wu+1 more|arXiv (Cornell University)|Jan 22, 2017

Formal Methods in Verification参考文献 31被引用数 6

ひとこと要約

本稿は、部分的に観測可能なマルコフ決定過程（POMDPs）のための、最初の反例誘導型抽象化精錬（CEGAR）フレームワークを提示する。新たに提案された抽象化システムモデル、0/1重み付きオートマトンとzラベル化（$0/1$-WA$_z$）と、確率的計算ツリー論理（PCTL）の断片を保存する安全なシミュレーション関係を導入する。この手法は、元のPOMDPに対する結論的な検証結果が得られるまで、抽象化システム上でモデルチェックによる反例を繰り返し用いて抽象化を精錬する。これにより、状態空間の複雑さを低減しつつ、健全かつ完全な検証を達成する。

ABSTRACT

Partially Observable Markov Decision Process (POMDP) is widely used to model probabilistic behavior for complex systems. Compared with MDPs, POMDP models a system more accurate but solving a POMDP generally takes exponential time in the size of its state space. This makes the formal verification and synthesis problems much more challenging for POMDPs, especially when multiple system components are involved. As a promising technique to reduce the verification complexity, the abstraction method tries to find an abstract system with a smaller state space but preserves enough properties for the verification purpose. While abstraction based verification has been explored extensively for MDPs, in this paper, we present the first result of POMDP abstraction and its refinement techniques. The main idea follows the counterexample-guided abstraction refinement (CEGAR) framework. Starting with a coarse guess for the POMDP abstraction, we iteratively use counterexamples from formal verification to refine the abstraction until the abstract system can be used to infer the verification result for the original POMDP. Our main contributions have two folds: 1) we propose a novel abstract system model for POMDP and a new simulation relation to capture the partial observability then prove the preservation on a fragment of Probabilistic Computation Tree Logic (PCTL); 2) to find a proper abstract system that can prove or disprove the satisfaction relation on the concrete POMDP, we develop a novel refinement algorithm. Our work leads to a sound and complete CEGAR framework for POMDP.

研究の動機と目的

• 部分的観測性による指数的複雑性のため、POMDPの形式的検証において状態空間の爆発問題を解決すること。
• MDPsで成功した抽象化ベースの検証を、新たな課題を引き起こす部分的観測性を持つPOMDPsに拡張すること。
• 反例を用いて抽象化を自動的に生成・精錬する、健全かつ完全なCEGARフレームワークをPOMDPsに開発すること。
• 新たな抽象化システムモデル、$0/1$-WA$_z$と、部分的観測性を捉え、重要なPCTL性質を保存するシミュレーション関係「安全なシミュレーション」を定義すること。
• 反復的精錬により状態空間を縮小することで、POMDPsにおける有限時限の安全-PCTL仕様の効率的検証を可能にすること。

提案手法

• POMDPsのための抽象化システムモデルとして、観測ラベル化を追加した$0/1$-重み付きオートマトンを拡張した$0/1$-WA$_z$を提案し、部分的観測性を符号化する。
• MDPsの強力なシミュレーションを拡張し、抽象化システムの性質が実際のPOMDPに反映されることを保証する新しいシミュレーション関係「安全なシミュレーション」を定義する。
• POMDP上で商構成を用いて、最も粗い可能な$0/1$-WA$_z$から始める初期の粗い抽象化を構築する。
• 先行研究のアルゴリズムを用いて、抽象化システム上でモデルチェックを実行し、高い確率でPCTL仕様に違反する有限パス集合としての反例を検出する。
• 検出された反例が偽物（実際のPOMDPでは違反ではない）か本物かを検証する。偽物の場合、反例を用いて商構成を更新することで抽象化を精錬する。
• 抽象化の精錬と再チェックを繰り返し、抽象化システムが仕様が成り立つことを証明するか、または実際のPOMDPに対して本物の反例が見つかるまで処理を繰り返す。

実験結果

リサーチクエスチョン

• RQ1 部分的観測性の追加的複雑性を考慮しても、MDPsで用いられる抽象化技術をPOMDPsに効果的に拡張できるか？
• RQ2 POMDPsにおける重要なPCTL性質を保存するには、どのような抽象化システムモデルとシミュレーション関係が必要か？
• RQ3 抽象化システムからの反例をどのように用いて、検証の健全性と完全性を保証する精錬を誘導できるか？
• RQ4 完全な状態空間探索を回避する、完全に自動化されたCEGARスタイルのPOMDP検証フレームワークを構築することは可能か？
• RQ5 重み付きPOMDPから導出されたMDPを用いて、最適方策を計算し、有限時限のPCTL性質を検証するにはどうすればよいか？

主な発見

• 提案された$0/1$-WA$_z$モデルは、観測ラベル化による部分的観測性の本質的構造を保持しつつ、POMDPsを効果的に抽象化する。
• 安全なシミュレーション関係は、有限時限の仕様におけるPCTLの安全断片（safe-PCTL）の満たし方を保証する。これにより、抽象化の健全性が保証される。
• CEGARフレームワークは健全かつ完全である：仕様が成り立つことを証明するか、または実際のPOMDPに対して本物の反例を発見する。
• 抽象化システム上でモデルチェックを実行することで、反例誘導による精錬により、検証の複雑さを低減する。
• 計算された価値関数$V_k(h)$は、$\mathcal{U}^{\leq k}$-制限付きPCTL式の満たされる累積確率の最大値を正しく計算する。$V_k(h_0) \unlhd p$が満たされると、その式の満たし方が決定される。
• 導出されたMDP上で最適方策計算（例：POMCPを用いて）を実行することで、複雑なシステムのスケーラブルな分析を可能にする、自動化されたPOMDP検証をサポートする。