[論文レビュー] Parameter Searching and Partition with Probabilistic Coverage Guarantees.

Chuchu Fan, Xin Qin+1 more|arXiv (Cornell University)|Apr 1, 2020

Formal Methods in Verification被引用数 7

ひとこと要約

本論文は、無限のパrameter空間を探索し、信号時相論理（STL）満たし値を端末カバレッジ保証付きで予測するため、適合回帰を用いた確率的検証フレームワークを提案する。これはパrameter空間の分割を可能にし、異なるパrameter下でのシステム動作を定量化し、分布的仮定なしに確率的保証を提供する。

ABSTRACT

The use of machine learning components has posed significant challenges for the verification of cyber-physical systems due to its complexity, nonlinearity, and large space of parameters. In this work, we propose a novel probabilistic verification framework for learning-enabled CPS which can search over the entire (infinite) space of parameters, to figure out the ones that lead to satisfaction or violation of specification that are captured by Signal Temporal Logic (STL) formulas. Our technique is based on conformal regression, a technique for constructing prediction intervals with marginal coverage guarantees using finite samples, without making assumptions on the distribution and regression model. Our verification framework, using conformal regression, can predict the quantitative satisfaction values of the system's trajectories over different sets of the parameters and use those values to quantify how well/bad the system with the parameters can satisfy/violate the given STL property. We use three case studies of learning-enabled CPS applications to demonstrate that our technique can be successfully applied to partition the parameter space and provide the needed level of assurance.

研究の動機と目的

• 複雑で非線形的かつ高次元のパrameter空間を有する学習可能サイバーフィジカルシステム（CPS）の検証の課題に対処すること。
• STL仕様を満たすか違反する設定を特定するための体系的パrameter空間探索を可能にすること。
• モデルや分布形の仮定なしに、STL満たし値の予測区間の確率的カバレッジ保証を提供すること。
• パrameter空間の分割と定量的評価を通じて、安全が求められるCPSアプリケーションにおける検証と保証を支援すること。

提案手法

• STL満たし値の予測区間を、端末カバレッジ保証付きで生成するために適合回帰を活用する。
• 有限の訓練サンプルに適合回帰を適用し、無限のパrameter集合におけるシステム動作を予測する。
• 信号時相論理（STL）を用いて、望ましいまたは禁止されるシステム動作を形式的に指定する。
• 予測された満たし値を用いて、パrameter空間を満たし領域、違反領域、または不確実性領域に分割する。
• フレームワークを事例研究に統合し、実世界のCPSアプリケーションにおけるスケーラビリティと信頼性を検証する。
• 非パrametricな仮定を維持し、基礎となる回帰モデルやデータ分布に対する制限を回避する。

実験結果

リサーチクエスチョン

• RQ1 適合回帰は、学習可能CPSの無限パrameter空間にわたり、STL満たし値を効果的に予測できるか？
• RQ2 分布的仮定なしにシステム動作を予測する際、確率的カバレッジ保証をどのように維持できるか？
• RQ3 このフレームワークは、満たし、違反、または不確実性の領域にパrameter空間をどの程度正確に分割できるか？
• RQ4 最小限のモデリング仮定で、安全が求められるCPSアプリケーションに対して信頼できる保証を提供できるか？
• RQ5 このフレームワークは、多様な学習可能CPSの事例において、どのようにスケーリングされ、性能を発揮するか？

主な発見

• 予測されたSTL値を用いて、パrameter空間が満たし領域、違反領域、不確実性領域に成功して分割された。
• 適合回帰は予測区間に対して端末カバレッジ保証を提供し、分布的仮定なしに統計的信頼性を確保する。
• 有限の訓練サンプルを活用することで、無限パrameter空間における検証が可能になった。
• 3つの事例研究により、フレームワークの実世界の学習可能CPSアプリケーションへの適用可能性と頑健性が示された。
• 異なるパrameter設定下でのシステム動作に対する信頼度を割り当てることで、定量的保証を支援する。
• 回帰モデルやデータ分布に関する仮定なしに、信頼できる検証を達成した。