[論文レビュー] Verifying Complex Systems Probabilistically through Learning, Abstraction and Refinement.

Jingyi Wang, Jun Sun+1 more|arXiv (Cornell University)|Oct 20, 2016

Formal Methods in Verification被引用数 5

ひとこと要約

本論文では、正確な事前モデリングを必要とせず、システムのトレースからモデルを学習する確率的検証手法LARを提案する。学習、抽象化、精錬を組み合わせることで、偽の反例の確率が上限に抑えられた反例、または性質検証のための証明義務として機能する確率的モデルを生成する。ベンチマークおよび実世界の水処理システムにおける評価により、有効性が示された。

ABSTRACT

Precisely modeling complex systems like cyber-physical systems is often challenging, which may render model-based system verification techniques like model checking infeasible. To overcome this challenge, we propose a method called LAR to `verify' such complex systems through a combination of learning, abstraction and refinement. Instead of starting with system modeling, our method takes a set of concrete system traces as input. The output is either a counterexample with a bounded probability of being a spurious counterexample, or a probabilistic model based on which the given property is `verified'. The model could be viewed as a proof obligation, i.e., the property is verified if the model is correct. It can also be used for subsequent system analysis activities like runtime monitoring. Our method has been implemented as a self-contained software toolkit. The evaluation on multiple benchmark systems as well as a real-world water purification system show promising results.

研究の動機と目的

• 正確なモデリングが非現実的である複雑なサイバー物理システムの検証の課題に対処すること。
• 手作業による誤りの多いシステムモデリングに依存を減らし、トレースから直接システム動作を学習すること。
• 偽の反例のリスクを制限する確率的検証フレームワークを提供すること。
• 実行時モニタリングなどの後続分析を可能にするために、信頼性の高い確率的モデルを生成すること。
• 実世界およびベンチマークシステムにおける評価を通じて、実用的応用性を実証すること。

提案手法

• 入力として、具体的なシステムのトレースの集合を受け取り、明示的なシステムモデリングの必要を回避する。
• 学習技術を用いて、観察されたトレースから確率的モデルを推定する。
• 関連する行動的性質を保持しつつ、モデルの簡略化を抽象化によって実現する。
• 不一致に焦点を当てることで、反復的な精錬によってモデルおよび反例の品質を向上させる。
• 学習、抽象化、精錬をフィードバックループで統合し、検証の信頼性を高める。
• 出力は、偽の反例の可能性が上限に抑えられた反例、または性質の検証のための証明義務として機能する確率的モデルのいずれかである。

実験結果

リサーチクエスチョン

• RQ1 正確に手作業で作成されたモデルを必要とせずに、システムを検証することは可能か？
• RQ2 システムのトレースからの学習を、抽象化および精錬と組み合わせることで、検証の信頼性をどのように向上させられるか？
• RQ3 実際の状況で許容可能な偽の反例の最大確率は何か？
• RQ4 推定された確率的モデルは、実行時モニタリングなどの後続のシステム分析タスクに使用可能か？
• RQ5 本手法は、サイバー物理システムのような実世界の複雑なシステムにおいて、どの程度有効か？

主な発見

• LAR手法は、システムのトレースのみを用いてシステムの性質を検証に成功し、詳細なモデリングの必要を排除した。
• 本手法は、偽の反例の可能性が上限に抑えられた反例を生成し、結果の信頼性を提供する。
• 生成された確率的モデルは、証明義務として機能し、さらなる分析や検証を可能にする。
• ベンチマークシステムにおける評価により、本手法の実現可能性およびスケーラビリティが示された。
• 実世界の水処理システムが成功裏に分析され、本手法の実用的応用性が確認された。