[論文レビュー] Supervisor Synthesis of POMDP based on Automata Learning

Xiaobin Zhang, Bo Wu+1 more|arXiv (Cornell University)|Mar 24, 2017

Formal Methods in Verification参考文献 37被引用数 4

ひとこと要約

本稿では、有限時限の確率的計算ツリー論理（PCTL）仕様を満たすことを保証するための、部分的に観測可能なマルコフ意思決定過程（POMDPs）におけるL*-学習に基づく監視者合成フレームワークを提案する。特化した決定的有限オートマトン（za-DFA）を用いて、有限時限のPCTL仕様を強制する。この手法は、メンバークエリと反例駆動の学習を繰り返し適用することで、za-DFAを段階的に精緻化し、制御の自由度を保ちつつ、健全かつ完全に終了保証付きの非ブロッキング監視者を自動的に合成する。

ABSTRACT

As a general and thus popular model for autonomous systems, partially observable Markov decision process (POMDP) can capture uncertainties from different sources like sensing noises, actuation errors, and uncertain environments. However, its comprehensiveness makes the planning and control in POMDP difficult. Traditional POMDP planning problems target to find the optimal policy to maximize the expectation of accumulated rewards. But for safety critical applications, guarantees of system performance described by formal specifications are desired, which motivates us to consider formal methods to synthesize supervisor for POMDP. With system specifications given by Probabilistic Computation Tree Logic (PCTL), we propose a supervisory control framework with a type of deterministic finite automata (DFA), za-DFA, as the controller form. While the existing work mainly relies on optimization techniques to learn fixed-size finite state controllers (FSCs), we develop an $L^*$ learning based algorithm to determine both space and transitions of za-DFA. Membership queries and different oracles for conjectures are defined. The learning algorithm is sound and complete. An example is given in detailed steps to illustrate the supervisor synthesis algorithm.

研究の動機と目的

• 安全で重要な応用分野における、形式的PCTL仕様を満たすことを保証するPOMDPsの監視者合成の課題に対処すること。
• 従来の最適化に基づく有限状態制御器（FSC）学習の限界を克服し、制御器の構造と遷移を自動的に発見可能にすること。
• 事前に制御器のサイズを知らなくても、健全かつ完全な学習ベースのフレームワークを構築し、許容的なza-DFA監視者を合成すること。
• POMDPsにおけるPOMCPおよびL*アルゴリズムの修正を通じて、確率的モデル検査とオートマトン学習を統合すること。
• メンバークエリ、仮説検証、反例処理のための新規オラクルを用いて、終了性と正しさを保証すること。

提案手法

• フレームワークは、POMDPsの履歴依存制御方針を符号化する特殊な決定的有限オートマトン（za-DFA）を監視者として用いる。
• L*-学習アルゴリズムを改変し、メンバークエリの発行と、三つのオラクル（OracleP：POMDPモデル検査、OracleB：信念状態の満足度、OracleS：PCTLの反例選択）からの反例を処理することで、za-DFAの構造を推論する。
• POMDPモデル検査ステップは、POMCPアルゴリズムを修正し、有限時限におけるPCTL式の満たされる確率の最大値を計算することで高速化される。
• L*における観測テーブルは繰り返し精緻化され、閉包性と一貫性を維持することで、健全かつ完全な学習を保証する。
• 反例は、推定されたza-DFAの精緻化に用いられ、OracleSはPCTL仕様に違反する敵対的観測列を特定する。
• 最終的に合成されたza-DFAは許容的であり、各状態で複数の行動を許容することで制御の自由度を保ちつつ、PCTLの満たしを保証する。

実験結果

リサーチクエスチョン

• RQ1 L*-学習は、形式的PCTL仕様を満たすPOMDPsの監視者合成に効果的に適応可能か？
• RQ2 確率的システムと有限時限PCTLを扱う際、学習プロセスを健全かつ完全に保つにはどうすればよいか？
• RQ3 POMDPsにおける正しくかつ効率的な監視者合成を保証するため、メンバークエリおよび反例処理にどのような修正が必要か？
• RQ4 提案されたフレームワークは、事前にサイズ制約を設けずに、監視者の状態空間と遷移構造を自動的に特定可能か？
• RQ5 PCTLの満たしを保証しつつ、合成された監視者の許容性をどのように維持できるか？

主な発見

• 提案されたL*-学習に基づく監視者合成アルゴリズムは、健全かつ完全であり、有限時限PCTL仕様に対して終了性と正しさを保証する。
• フレームワークは、各状態で複数の行動を許容する許容的なza-DFA監視者を効果的に合成し、制御の柔軟性を向上させる。
• 詳細な例では、アルゴリズムが6回の反復で収束し、最大満たし確率が0.271に達した。これは0.28のしきい値未満であり、仕様の遵守が確認された。
• 反復的学習を通じて、誤った反例（例：11, 124, 121, 123）を正しく特定・精緻化し、各反例が仮説の改善に寄与した。
• POMCPとPCTLモデル検査の統合により、満たし確率の計算が効率的に行われ、学習ループにおける計算コストが低減された。
• オートマトン学習と確率的モデル検査を統合する手法の有効性が実証され、将来的な完全なソフトウェア統合の可能性を示している。