[論文レビュー] Statistical Verification of Autonomous Systems using Surrogate Models and Conformal Inference

Chuchu Fan, Xin Qin+3 more|arXiv (Cornell University)|Apr 1, 2020

Formal Methods in Verification参考文献 42被引用数 4

ひとこと要約

本論文は、信号時相論理（STL）の性質満たしに関する確率的保証を提供する、代替モデルを用いた適合予測に基づく方法を提案する。モデルのシミュレーションを活用して代替モデルを学習し、適合予測を適用することで、整合性のある信頼区間をロバストネス値に導出し、ユーザーが指定した信頼水準でパラメータ空間内の安全／不安全領域を特定する。この手法により、分布に依存しないスケーラブルな安全制御システムの検証が可能となる。

ABSTRACT

In this paper, we propose conformal inference based approach for statistical verification of CPS models. Cyber-physical systems (CPS) such as autonomous vehicles, avionic systems, and medical devices operate in highly uncertain environments. This uncertainty is typically modeled using a finite number of parameters or input signals. Given a system specification in Signal Temporal Logic (STL), we would like to verify that for all (infinite) values of the model parameters/input signals, the system satisfies its specification. Unfortunately, this problem is undecidable in general. {\em Statistical model checking} (SMC) offers a solution by providing guarantees on the correctness of CPS models by statistically reasoning on model simulations. We propose a new approach for statistical verification of CPS models for user-provided distribution on the model parameters. Our technique uses model simulations to learn {\em surrogate models}, and uses {\em conformal inference} to provide probabilistic guarantees on the satisfaction of a given STL property. Additionally, we can provide prediction intervals containing the quantitative satisfaction values of the given STL property for any user-specified confidence level. We also propose a refinement procedure based on Gaussian Process (GP)-based surrogate models for obtaining fine-grained probabilistic guarantees over sub-regions in the parameter space. This in turn enables the CPS designer to choose assured validity domains in the parameter space for safety-critical applications. Finally, we demonstrate the efficacy of our technique on several CPS models.

研究の動機と目的

• 無限に多くのパラメータと入力信号の組み合わせがあるため、従来の検証手法では決定不能となる不確実性下での安全制御CPSの検証の課題に対処すること。
• 特定のモデル構造や分布を仮定せずに、ユーザーが定義したパラメータ分布全体にわたるSTL特性満たしに関する確率的保証を提供すること。
• ガウス過程を用いた代替モデルの精緻化により、パラメータ空間内の安全および不安全領域を特定すること。
• 検証済みのパラメータ部分領域に基づく条件付き契約を生成することで、安全保証の根拠と監視制御を支援すること。
• シミュレーションデータに対してサンプルに依存しない非パラメトリックな適合予測を用いることで、従来の検証手法のスケーラビリティの限界を克服すること。

提案手法

• ユーザーが提供する分布からシステムパラメータをモンテカルロサンプリングし、シミュレーションによりモデルの軌道を生成する。
• 各サンプルされたパラメータに対して、対応する軌道の、指定されたSTL式に対するロバストネス値を計算する。
• パラメータとロバストネス値のペアを用いて、代替モデル（例：ガウス過程）を訓練し、パラメータ空間全体でのロバストネス値を予測する。
• 適合予測を代替モデルの予測に適用し、ユーザー指定の信頼水準でマージナルカバレッジ保証を持つ予測区間を生成する。
• ガウス過程回帰に基づく精緻化手順を用いて、パラメータ空間内の関心領域におけるより狭い確率的境界を取得する。
• フレームワークはブール値および定量的STL検証の両方をサポートし、ロバストネス値の信頼区間と満たし確率の境界を提供する。

実験結果

リサーチクエスチョン

• RQ1 ユーザーが定義した連続的なパラメータ分布全体にわたって、与えられたSTL特性の満たしに関する確率的保証を提供できるか？
• RQ2 限られたシミュレーションデータでも、ユーザー指定の信頼水準を維持するSTL特性のロバストネス値の予測区間を生成できるか？
• RQ3 システムが高確率で特性を満たすか、違反するというサブ領域をパラメータ空間内で特定できるか？
• RQ4 カバレッジを損なわせることなく、重要領域における確率的保証の精度を向上させるために、代替モデルをどのように精緻化できるか？
• RQ5 内部モデル構造を必要とせず、特定の分布を仮定せずとも、複雑で非線形なCPSモデルにこの手法を適用できるか？

主な発見

• Simglucoseモデルにおいて、Θ₂M領域で不安全体積を54.44%と推定し、真値の52.47%に近く一致した。
• Simglucoseモデルにおいて、G[0,24] BG ≤ 155 の仕様は52.47%の不安全体積を示したが、G[0,24] BG ≤ 170 では同じ領域で0%の不安全体積を示した。
• より大きなパラメータ空間（例：Θ₅M）において、G[0,24] BG ≤ 170 の不安全体積を6.6%と推定し、高次元パラメータ空間へのスケーラビリティを示した。
• ガウス過程ベースの精緻化により、細分化された安全および不安全領域を特定でき、監視制御のための条件付き契約の支援が可能になった。
• 適合予測フレームワークは、代替モデルの品質にかかわらず有効なカバレッジ保証を維持した。劣ったモデル適合の場合は、幅広い区間が補てんした。
• 従来のSMC手法とは異なり、サンプル数に依存しない信頼水準を達成でき、適合予測により限られたデータでもカバレッジが保証された。