[論文レビュー] Data-driven Abstractions for Verification of Deterministic Systems

Rudi Coppola, Andrea Peruffo+1 more|arXiv (Cornell University)|Nov 3, 2022

Formal Methods in Verification被引用数 7

ひとこと要約

本稿では、未知のダイナミクスを有する決定的システムに対して、サンプリングされた軌道を用いて確率的行動包含を保証するデータ駆動型手法を提案する。非凸スナップショット理論と$\varepsilon$-完全な行動カバーを活用することで、事前的なシステムモデルが不要な状態で無限時間ホライズンの検証に対するおそらく近似的に正しい（PAC）保証を達成する。

ABSTRACT

A common technique to verify complex logic specifications for dynamical systems is the construction of symbolic abstractions: simpler, finite-state models whose behaviour mimics the one of the systems of interest. Typically, abstractions are constructed exploiting an accurate knowledge of the underlying model: in real-life applications, this may be a costly assumption. By sampling random $\ell$-step trajectories of an unknown system, we build an abstraction based on the notion of $\ell$-completeness. We newly define the notion of probabilistic behavioural inclusion, and provide probably approximately correct (PAC) guarantees that this abstraction includes all behaviours of the concrete system, for finite and infinite time horizon, leveraging the scenario theory for non convex problems. Our method is then tested on several numerical benchmarks.

研究の動機と目的

• 未知のダイナミクスを有する決定的システムにおける無限時間ホライズンの性質の検証という課題に取り組むこと。ここで、従来のモデルベースの抽象化手法は不適切である。
• 1ステップ遷移に基づくスナップショット手法の限界を克服し、長時間または無限時間ホライズンに一般化できない問題を解決すること。
• システムモデルを前提とせず、データから直接有限抽象を構築する手法を開発すること。また、i.i.d. 初期状態サンプルを用いて、高い確率で正しさを保証すること。
• 抽象化内に実システムの行動が含まれることを保証するPAC保証を、無限時間の性質に対しても確立すること。
• 明示的なシステムモデルが不要な状態で、複雑な論理的仕様に対する形式的検証と制御則合成を可能にすること。

提案手法

• 既知の分布からi.i.d. 初期状態をサンプリングし、$\overline{k}$ はシステムの行動が完全にカバーされるまでの時間であるため、$H = \overline{k} + \ell$ の長さの$\varepsilon$-完全な軌道を生成する。
• 観測された$\ell$-ステップのシーケンスから$\ell$-完全なオートマトン（S$\ell$-CA）を構築し、すべての可能な$\ell$-長さの行動が捉えられていることを保証する。
• 確率的行動包含を、すべての実システムの軌道が抽象化の行動に含まれる確率として定義する。信頼度$1 - \beta$を満たす。
• 非凸スナップショット理論を適用し、未観測の行動の確率に関するPACバウンドを導出する。ここで、異なる$\ell$-シーケンスの数$s_N^*$とサンプル数$N$を用いる。
• スナップショットバウンド$\epsilon(s_N^*, \beta, N)$を用いて、いかなるシステム行動も見逃される最大確率を定量化し、高い信頼度で正しさを保証する。
• 双模倣関係を活用して、システムがそのような関係を満たす場合に限って、有限時間ホライズンの保証を無限時間ホライズンの検証に拡張する。

実験結果

リサーチクエスチョン

• RQ1 未知のダイナミクスを有する決定的システムに対して、システムモデルに依存せず、サンプリングされた軌道のみを用いて有限抽象を構築できるか？
• RQ2 1ステップのスナップショットに基づく保証を、決定的システムにおける無限時間ホライズンの行動的性質にどのように拡張できるか？
• RQ3 高い信頼度で行動包含のPAC保証を達成するために、必要な最小の軌道数とシーケンス長は何か？
• RQ4 特にシステムのサポートが未知である場合に、有限のデータセットからすべての可能なシステム行動を観測する確率をどのように定量化できるか？
• RQ5 どのような条件下で、データ駆動型抽象化が形式的正しさ保証のもとでシステムの無限時間ホライズン行動をシミュレートできるか？

主な発見

• 本手法は、すべてのシステム行動が抽象化内に確率$1 - \epsilon$以上で含まれることを保証することで、無限時間ホライズン検証に対するPAC保証を達成する。ここで$\epsilon$はスナップショットバウンドから導出される。
• 2次元非線形システムを用いた数値ベンチマークにおいて、スナップショットバウンドは$\epsilon = 4.8 \cdot 10^{-3}$であった。正確な違反確率は$\approx 2.25 \cdot 10^{-44}$と算出され、バウンドの保守的かつ信頼性の高さが裏付けられた。
• 同じシステムについて、$\overline{k} = 7$がシステムの行動が完全にカバーされるまでの時間として特定され、$H = \overline{k} + \ell = 9$が無限時間ホライズン保証に十分な軌道長であると正当化された。
• パスプランニングの例では$N = 10^4$の軌道と$\ell = 27$を用い、スナップショットバウンドは$\epsilon = 4.06 \cdot 10^{-3}$であった。信頼度$1 - \beta = 1 - 10^{-12}$のもとで、システムがターゲットに到達する確率は$\geq 1 - \epsilon$であることが保証された。
• パスプランニングの事例では、$s_N^* = 3$というわずかな異なる軌道数から、データ駆動型S$\ell$-CAが成功裏に構築された。これはデータ効率の高さを示している。
• 理論的分析により、無限時間ホライズン検証問題が、i.i.d. サンプルから未知の有限サポート確率質量関数の完全なサポートを観測する確率をバウンドすることに還元されることを確認した。この問題はスナップショット理論により解決された。