[論文レビュー] Conformal Prediction for STL Runtime Verification

Lars Lindemann, Qin Xin+2 more|arXiv (Cornell University)|Nov 3, 2022

Software Reliability and Analysis Research被引用数 4

ひとこと要約

本稿では、信号時空間論理（STL）を用いた確率的サイバーフィジカルシステムの予測実行時検証のための、2つのコンformal予測に基づくアルゴリズムを提案する。トラジェクトリ予測器（例：RNN、LSTM）とコンフォーマル予測を組み合わせることで、ユーザーが定義した信頼水準におけるSTL満たし測度の有効な予測領域を生成し、分布に関する仮定や仕様変更に伴う再訓練を必要とせずに形式的保証を提供する。

ABSTRACT

We are interested in predicting failures of cyber-physical systems during their operation. Particularly, we consider stochastic systems and signal temporal logic specifications, and we want to calculate the probability that the current system trajectory violates the specification. The paper presents two predictive runtime verification algorithms that predict future system states from the current observed system trajectory. As these predictions may not be accurate, we construct prediction regions that quantify prediction uncertainty by using conformal prediction, a statistical tool for uncertainty quantification. Our first algorithm directly constructs a prediction region for the satisfaction measure of the specification so that we can predict specification violations with a desired confidence. The second algorithm constructs prediction regions for future system states first, and uses these to obtain a prediction region for the satisfaction measure. To the best of our knowledge, these are the first formal guarantees for a predictive runtime verification algorithm that applies to widely used trajectory predictors such as RNNs and LSTMs, while being computationally simple and making no assumptions on the underlying distribution. We present numerical experiments of an F-16 aircraft and a self-driving car.

研究の動機と目的

• リアルタイム制約下での確率的システムに対する予測実行時検証における形式的検証保証の欠如に対処する。
• 実行時における高い信頼性で、制御システムの仕様違反を早期に検出可能にする。
• システムの下位分布や予測器モデルに関する仮定を必要とせず、予測ベースの検証に対して形式的確率的保証を提供する。
• 仕様変更時に再訓練を必要とせず、RNN や LSTM などの複雑な予測器を安全な用途に活用できるようにする。
• システムダイナミクスのノイズに強く、例えば制御信号への摂動が加わった場合でも、計算の単純さと耐障害性を維持する。

提案手法

• 観測されたシステムのプレフィックスから、トラジェクトリ予測器（例：RNN、LSTM）を用いて将来のシステム状態を予測する。
• コンフォーマル予測を適用して、将来のシステム状態の予測領域を構築し、i.i.d. 仮定の下で有限標本の有効性を保証する。
• 直接的手法では、予測されたトラジェクトリに対してSTL仕様の満たし測度を計算し、非適合スコアを用いて真の満たし測度の予測領域を構築する。
• 間接的手法では、まず将来の状態の予測領域を生成し、その後、これらの状態領域を用いて真の満たし測度の下限を導出する。
• キャリブレーションデータを用いて非適合スコアを計算し、予測領域の閾値 $ C $ を決定することで、真の満たし測度がユーザーが定義した信頼水準で $ C $ の内側にあることを保証する。
• STLのロバストな意味論を活用して、システムが仕様をどれほど信頼性を持って満たしているか、または違反しているかを定量化し、正確な失敗予測を可能にする。

実験結果

リサーチクエスチョン

• RQ1 トラジェクトリ予測器を用いた予測実行時検証は、仕様違反検出に対して形式的確率的保証を提供できるか？
• RQ2 コンフォーマル予測をSTLに統合することで、将来のシステム行動に対する有効な不確実性評価をどのように保証できるか？
• RQ3 複雑な予測器（例：LSTM）を用いる場合、分布に関する仮定を必要としない方法で、保証の有効性はどの程度維持されるか？
• RQ4 直接的手法と間接的手法の間で、予測領域のサイズと検証精度の観点から、性能にどのような差が生じるか？
• RQ5 ガウスノイズを含む変動するシステムダイナミクス、例えば確率的制御入力を含む場合、フレームワークはどのように対処できるか？

主な発見

• IL制御器と仕様 $\phi_1$ に対して、100件のテストトラジェクトリのうち99件が $\rho^{\phi_1}(\hat{x},\tau_0) > C \Rightarrow (x,\tau_0) \models \phi_1$ を満たし、定理1を確認した。
• CBF制御器と $\phi_1$ に対して、100件のテストトラジェクトリすべてが $\rho^{\phi_1}(\hat{x},\tau_0) > C \Rightarrow (x,\tau_0) \models \phi_1$ を満たし、検証の信頼性の高さを示した。
• CBF制御器では予測領域 $C$ が小さく、トラジェクトリのばらつきが低いため、LSTMの予測がより正確であったと考えられる。
• $\phi_2$ に対して、IL制御器では100件中99件、CBF制御器では100件中98件のトラジェクトリが、含意 $\rho^{\phi_2}(\hat{x},\tau_0) > C \Rightarrow (x,\tau_0) \models \phi_2$ を満たした。これにより、異なる仕様に対しても本手法の有効性が検証された。
• 方程式 (3) は、IL制御器では $\phi_1$ に対して100件中95件、$\phi_2$ に対して100件中98件が満たされ、CBF制御器では $\phi_1$ に対して100件中95件、$\phi_2$ に対して100件中92件が満たされた。これにより、予測領域のキャリブレーションが確認された。
• ガウスノイズを含む制御信号に対してもフレームワークは耐性を示し、訓練が不十分なLSTMでは予測領域が大きくなる傾向にあり、予測器の品質に敏感であることが示された。