[論文レビュー] Parameter Synthesis for Markov Models: Faster Than Ever

Tim Quatmann, Christian Dehnert+3 more|arXiv (Cornell University)|Feb 16, 2016

Formal Methods in Verification参考文献 16被引用数 6

ひとこと要約

本稿では、パラメトリックなマルコフ連鎖およびマルコフ決定過程（MDP）におけるパラメータ合成のための新しい技術「パラメータリフト」を紹介する。この手法は、パラメトリック遷移をパラメータ関数の極値における非決定的選択に置き換える。得られたパラメータフリーのモデルを既存の検証ツールで解析することで、パラメータ空間全域における到達確率のタイトな下限と上限を効率的に計算可能であり、数個のオーダーの高速化を達成し、数百万状態および複雑なパラメータ依存関係に対してもスケーラブルである。本手法は、パラメトリックMDPにおける最初の整合的かつ実行可能なアプローチを提供する。

ABSTRACT

We propose a simple technique for verifying probabilistic models whose transition probabilities are parametric. The key is to replace parametric transitions by nondeterministic choices of extremal values. Analysing the resulting parameter-free model using off-the-shelf means yields (refinable) lower and upper bounds on probabilities of regions in the parameter space. The technique outperforms the existing analysis of parametric Markov chains by several orders of magnitude regarding both run-time and scalability. Its beauty is its applicability to various probabilistic models. It in particular provides the first sound and feasible method for performing parameter synthesis of Markov decision processes.

研究の動機と目的

• 既存のパラメトリックモデル検証手法に見られる深刻なスケーラビリティの制限を解消すること。特に、大規模モデルや複雑なパラメータ依存関係に対して困難を示す点を改善する。
• 従来の手法で不整合なヒューリスティクスが用いられていたため実行不可能であった、パラメトリックMDPにおける整合的で効率的なパラメータ合成手法を提供すること。
• 特にパラメータが依存関係を持つモデルにおいても、多アフィン多項式パラメータを有する確率的システムに対して、95％以上のパラメータ空間をカバーする分析を可能にすること。
• 最新のツールで計算が困難な有理関数の記号的処理やSMTソルブィングを回避するため、記号的処理に代えて緩和されたモデルの数値的検証に置き換えること。
• 非決定的緩和モデルの数値的検証により、正しさを損なわずにパラメータ空間領域に対する精密で再帰的な境界を導出できることを示すこと。

提案手法

• パラメトリック遷移を、パラメータ関数の定義域上での最小値と最大値の間の非決定的選択に置き換えることで、緩和されたパラメータフリーのモデルを構築する。
• 各状態に新たなパラメータを導入し、確率的選択を極値における非決定的選択に置き換えることで、パラメータフリーのMDP（またはMDPのための2人対戦型確率的ゲーム）を構築する。
• 緩和モデルに対して標準的な数値的アルゴリズム（例えば価値反復や方策反復）を適用し、パラメータ空間全体における最小および最大の到達確率を計算する。
• 得られた境界を用いて、パラメータ空間の領域を安全、不安全、未決定の3つに分類し、領域分割による再帰的精緻化によりカバレッジを向上させる。
• 多アフィン多項式の構造を活用することで、正しさと効率性を保証する。多アフィン多項式は実用的なベンチマークで一般的に見られる。
• 未決定領域のコーナー点でのサンプリングを活用し、近似誤差を推定し、分類の正確性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 数百万状態および数十個の依存パラメータを持つモデルに対しても、整合的かつ効率的であるようなパラメータ合成手法を開発可能か？
• RQ2 パラメトリック選択を極値における非決定的選択に置き換えることで、有理関数の記号的計算やSMTソルブィングを回避できるか？
• RQ3 得られたパラメータフリーのモデルを、市販の数値的アルゴリズムで効率的に検証し、パラメータ空間に対してタイトで再帰的な境界を導出できるか？
• RQ4 実際の応用において、本手法のパラメータ空間カバレッジ（安全／不安全領域）は、SMTベースおよびサンプリングベースの既存手法と比較してどの程度優れているか？
• RQ5 本手法の実行時間は、パラメータ数、状態空間のサイズ、グラフ構造にどの程度依存するか？

主な発見

• 2パラメータモデルにおいて、本手法は4分以内にパラメータ空間の95％以上をカバーする。既存手法に比べて顕著に優れた性能を示す。
• 2パラメータのベンチマークにおいて、4分未満で94％以上のパラメータ空間が安全または不安全と分類され、実行時間はパラメータ数の増加にほとんど依存しない。
• 本手法は、最大数百万状態および数千のパラメトリック遷移を持つモデルに対してもスケーラブルであり、状態削除法やSMTベース手法に比べて数個のオーダーの高速化を達成した。
• 本手法は、パラメトリックMDPにおける最初の整合的かつ実行可能なパラメータ合成手法を提供し、従来の不整合なヒューリスティクスの限界を克服した。
• 実行時間は主に状態数とグラフ構造に依存し、パラメータ数に依存しない。したがって、賢明な領域選択と組み合わせることで、高次元パラメータ空間に対しても適している。
• 近似誤差は低く、主に領域選択の影響によるものであり、本手法自体の過剰近似によるものではない。コーナー点でのサンプリングにより、このことが確認された。