[論文レビュー] Some approximations in Model Checking and Testing

Marie-Claude Gaudel, Richard Lassaigne+2 more|arXiv (Cornell University)|Apr 16, 2013

Formal Methods in Verification参考文献 96被引用数 3

ひとこと要約

本論文は、モデルチェックイングとテストにおける近似技法を統合するフレームワークを提示しており、論理、統計、計算複雑性理論を組み合わせることで、システムの性質の効率的かつ確率的保証付きの検証を可能にする。境界付きおよび近似モデルチェックイング、確率的抽象化、ランダム化近似スキームといった手法を導入し、誤差が有界な多項式時間または定数時間の検証を保証する。特にEPF断片に属するLTL論理式に対して有効である。

ABSTRACT

Model checking and testing are two areas with a similar goal: to verify that a system satisfies a property. They start with different hypothesis on the systems and develop many techniques with different notions of approximation, when an exact verification may be computationally too hard. We present some notions of approximation with their logic and statistics backgrounds, which yield several techniques for model checking and testing: Bounded Model Checking, Approximate Model Checking, Approximate Black-Box Checking, Approximate Model-based Testing and Approximate Probabilistic Model Checking. All these methods guarantee some quality and efficiency of the verification.

研究の動機と目的

• 正確なモデルチェックイングとテストの計算的に非効率な性質に対処するため、体系的な近似技法を導入すること。
• 論理と統計に根ざした共通の理論的基盤の下で、モデルチェックイングとテストにおける多様な近似手法を統合すること。
• 特に確率的および時相論理的性質に対して、近似の品質と効率に関する形式的保証を提供すること。
• 検証タスクにおける計算効率と近似精度のトレードオフを明らかにすること。
• ランダム化および抽象化に基づく近似を用いて、大規模または無限状態のシステムのスケーラブルな検証を可能にすること。

提案手法

• 境界付きモデルチェックイング（BMC）を用いて、探索パスの長さを有限に制限し、多項式時間の複雑性を持つSATソルブに問題を還元する。
• モンテカルロ法およびランダム化近似スキーム（RAS）を適用し、LTL論理式の満たされる確率を乗法的誤差境界で推定する。
• 一般化されたゼロ・オール・推定定理を用いて、高い確率で(ε,δ)-近似を達成する最適近似アルゴリズム（OAA）を導出する。
• 性質テストおよび統計的学習技術を用いて、モデル-性質の同等性および入力カバレッジを、システムサイズに依存しない複雑性で近似する。
• 確率的抽象化および編集距離メトリクスを用いて、正確な計算が不可能な場合のモデルチェックイング結果を近似する。
• 学習に基づくモデル再構築とモデルチェックイングを組み合わせ、未知のシステムに対する近似ブラックボックスチェックを可能にする。

実験結果

リサーチクエスチョン

• RQ1 モデルチェックイングとテストにおける近似技法を、論理と統計に正式に根ざさせることで、効率性と正確性の両方を保証できるか。
• RQ2 確率的システムとLTL性質の検証において、ランダム化近似スキームの理論的限界と保証は何か。
• RQ3 モデル抽象化と学習は、ブラックボックスチェックおよびモデルベーステストにおいて、どのようにシステム動作を近似するために用いられるか。
• RQ4 システムの性質の近似において、誤差が有界な状態で、検証の複雑性をどのように低減できるか。
• RQ5 境界付きチェック、確率的抽象化、統計的学習といった複数の近似技法を組み合わせることで、スケーラビリティと正確性を向上させられるか。

主な発見

• 最適近似アルゴリズム（OAA）は、EPF断片に属するLTL論理式の満たされる確率を(ε,δ)-近似で達成でき、実験回数はΓ/μに比例する。ここでΓはεおよびδに依存する。
• 満たされる確率が小さい場合（μ → 0）、期待される実験回数は指数関数的に増加するため、RASアプローチの限界が示される。
• OAAアルゴリズムの不動点反復は、完全なLTL確率問題に対するランダム化近似スキームを提供し、(ε,δ)-近似に収束することが保証される。
• モンテカルロ法を用いた近似モデルチェックイングは、モデルのサイズに対して多項式時間の複雑性を達成し、誤差境界はサンプリングされたパス数に依存する。
• 性質テストに基づくアプローチは、システムサイズに依存しない複雑性を達成し、近似パラメータεにのみ依存する。
• 学習技術を用いた近似ブラックボックスチェックは、N個のサンプル後、再構築されたモデルが真のIUTからε以内に近いことを保証する。ここでNはシステムサイズに依存せず、εおよびδにのみ依存する。