[論文レビュー] Symbolic Control for Stochastic Systems via Parity Games.

Rupak Majumdar, Kaushik Mallik+2 more|arXiv (Cornell University)|Jan 4, 2021

Formal Methods in Verification参考文献 37被引用数 4

ひとこと要約

本稿では、確率的非線形システムに対する記号的制御手法を提案し、$ω$-正規仕様を満たす最大確率の下界を計算することを目的としている。遷移確率のサポートのみを用いた有限状態抽象化により、問題を$2\frac{1}{2}$-プレーヤーのパリティゲームに還元することで、定性的な勝利領域の下界近似を計算し、到達可能性合成と組み合わせることで、満たし確率に関する証明可能な下界を導出する。この手法は、摂動を受けるデュービンス車両モデルに対して実証された。

ABSTRACT

We consider the problem of computing the maximal probability of satisfying an $\omega$-regular specification for stochastic, continuous-state, nonlinear systems evolving in discrete time. The problem reduces, after automata-theoretic constructions, to finding the maximal probability of satisfying a parity condition on a (possibly hybrid) state space. While characterizing the exact satisfaction probability is open, we show that a lower bound on this probability can be obtained by (I) computing an under-approximation of the qualitative winning region, i.e., states from which the parity condition can be enforced almost surely, and (II) computing the maximal probability of reaching this qualitative winning region. The heart of our approach is a technique to symbolically compute the under-approximation of the qualitative winning region in step (I) via a finite-state abstraction of the original system as a $2\frac{1}{2}$-player parity game. Our abstraction procedure uses only the support of the probabilistic evolution; it does not use precise numerical transition probabilities. We prove that the winning set in the abstract $2\frac{1}{2}$-player game induces an under-approximation of the qualitative winning region in the original synthesis problem, along with a policy to solve it. By combining these contributions with (a) existing symbolic fixpoint algorithms to solve $2\frac{1}{2}$-player games and (b) existing techniques for reachability policy synthesis in stochastic nonlinear systems, we get an abstraction-based symbolic algorithm for finding a lower bound on the maximal satisfaction probability. We have implemented our approach and evaluated it on the nonlinear model of the perturbed Dubins vehicle.

研究の動機と目的

• 確率的連続状態非線形システムにおける$ω$-正規仕様を満たす最大確率の下界を計算すること。
• 正確な満たし確率を計算することが困難であるようなこれらのシステムに対して、制御方策を合成する課題に対処すること。
• 確率的遷移のサポートのみを用いて、定性的な勝利領域を保持するシステムの有限状態抽象化を開発すること。
• 正確な遷移確率を必要とせず、$2\frac{1}{2}$-プレーヤーのパリティゲームによる記号的計算により制御方策を合成できること。
• 記号的不動点アルゴリズムと到達可能性合成を統合し、確率的非線形システムに対して実用的でスケーラブルなアルゴリズムを提供すること。

提案手法

• 自動車理論的構成を用いて、ハイブリッド状態空間上のパリティ条件に制御合成問題を還元する。
• 確率的遷移のサポートにのみ依存して、元のシステムの有限状態抽象化を$2\frac{1}{2}$-プレーヤーのパリティゲームとして構築する。
• 抽象ゲームにおける定性的勝利領域の下界近似を記号的に計算し、それが元のシステムにおける勝利領域の下界を誘導する。
• 抽象$2\frac{1}{2}$-プレーヤーゲームを解くために記号的不動点アルゴリズムを活用し、制御方策を抽出する。
• 下界近似された勝利領域と到達可能性方策合成を組み合わせ、その到達確率の最大値を計算する。
• 得られた方策を用いて、元の仕様における最大満たし確率の下界を導出する。

実験結果

リサーチクエスチョン

• RQ1 正確な遷移確率に依存せずに、確率的非線形システムにおける$ω$-正規仕様の最大満たし確率の下界を計算できるか？
• RQ2 連続状態確率的システムの有限状態抽象化をどのように構築すれば、パリティ条件のための定性的勝利領域を保持できるか？
• RQ3 $2\frac{1}{2}$-プレーヤーのパリティゲームに基づく記号的手法は、確率的ダイナミクスを有する非線形システムの制御方策合成にどの程度有効に用いられるか？
• RQ4 抽象ゲームにおける勝利集合と元のシステムにおける定性的勝利領域との関係は何か？
• RQ5 提案された抽象化に基づくアプローチは、実際の非線形制御モデルに対して効果的に実装・評価できるか？

主な発見

• 提案された抽象化は、元の確率的システムにおける定性的勝利領域の証明可能な下界近似を誘導する。
• 下界近似された勝利領域と到達可能性確率解析を組み合わせることで、最大満たし確率の下界を計算する。
• 抽象化は確率的遷移のサポートのみに依存しており、正確な数値的確率を必要としない。
• 抽象$2\frac{1}{2}$-プレーヤーゲームを解くために用いられる記号的不動点アルゴリズムは、抽象化に対してスケーラブルで効果的である。
• 本手法は非線形の摂動を受けるデュービンス車両モデルに対して、実際に実装・評価され、実用的応用性が示された。
• 得られた方策は、下界近似された勝利領域からほとんど確実にパリティ条件を満たすことを保証し、全体の満たし確率に対して定量的な下界を提供する。