[論文レビュー] Cross-entropy optimisation of importance sampling parameters for statistical model checking

Cyrille Jégourel, Axel Legay+1 more|arXiv (Cornell University)|Jan 25, 2012

Software Reliability and Analysis Research参考文献 22被引用数 4

ひとこと要約

本論文は、統計的モデル検査における重要度サンプリングのパラメータを自動的に調整するための交差エントロピー最適化手法を提案する。低次元のパrameter化により、全状態空間の探索を回避する。この手法は、まれな事象の推定において10⁵を超える分散低減を達成し、信頼性工学やシステム生物学分野の複雑なシステムにおけるシミュレーション効率を顕著に向上させる。

ABSTRACT

Statistical model checking avoids the exponential growth of states associated with probabilistic model checking by estimating properties from multiple executions of a system and by giving results within confidence bounds. Rare properties are often very important but pose a particular challenge for simulation-based approaches, hence a key objective under these circumstances is to reduce the number and length of simulations necessary to produce a given level of confidence. Importance sampling is a well-established technique that achieves this, however to maintain the advantages of statistical model checking it is necessary to find good importance sampling distributions without considering the entire state space. Motivated by the above, we present a simple algorithm that uses the notion of cross-entropy to find the optimal parameters for an importance sampling distribution. In contrast to previous work, our algorithm uses a low dimensional vector of parameters to define this distribution and thus avoids the often intractable explicit representation of a transition matrix. We show that our parametrisation leads to a unique optimum and can produce many orders of magnitude improvement in simulation efficiency. We demonstrate the efficacy of our methodology by applying it to models from reliability engineering and biochemistry.

研究の動機と目的

• 標準モンテカルロ法が分散の高さのため実用的でない、大規模な確率的システムにおけるまれな性質の効率的推定という課題に対処すること。
• 全遷移行列の明示的表現を避けるパラメータ化された重要度サンプリング分布の開発。
• 低次元パrameterベクトルにおける交差エントロピー最小化を用いた、スケーラブルで自動的な分散低減手法の提供。
• 信頼性工学およびシステム生物学分野の実世界モデルにおいて、高い状態空間複雑性を示す系において、本手法の有効性を実証すること。

提案手法

• 本手法は、ガardedコマンドモデルにおける遷移率または確率を表す低次元パrameterベクトルによって定義されるパラメータ化された重要度サンプリング分布を用いる。
• 推定された分散を最小化することで、反復的にこれらのパラメータを更新する交差エントロピー最適化を適用する。
• 特にまれな遷移に対して収束を保証するため、パラメータの爆発を防ぐスムージング戦略を用いる。
• パラメータ化は一意的かつ凸的であるように設計されており、最適化プロセスにおける一意のグローバル最適解を保証する。
• 本手法は、現在のパラメータ化された分布に従って実行トレースをサンプリングし、成功路線の経験的分布の交差エントロピーに基づいてパラメータを更新する。
• 収束するまで反復的にアルゴリズムを適用し、推定確率およびサンプル分散を用いて性能をモニタリングする。

実験結果

リサーチクエスチョン

• RQ1 低次元のパラメータ化された重要度サンプリング分布を用いることで、大規模な確率的モデルにおけるまれな性質の推定を効率的に行えるか？
• RQ2 これらのパラメータに対する交差エントロピー最適化が、一意的かつグローバルに最適な解に至るか？
• RQ3 標準モンテカルロ法と比較して、この手法が分散低減にどの程度効果を発揮するか？
• RQ4 高い状態空間複雑性を示す実世界モデルにおいて、本手法はスケーラブルにかつ効果的に動作するか？

主な発見

• 提案されたパラメータ化は一意のグローバル最適解をもたらし、最適化プロセスの安定的かつ信頼性の高い収束を保証する。
• 本手法は信頼性モデルにおいて10⁵を超える分散低減を達成し、シミュレーション効率を顕著に向上させた。
• 推定確率は、PRISMによって計算された真値と1.7%以内に収束した。これにより、本手法の正確性が検証された。
• アルゴリズムは、あまり関連性のない修理遷移を効果的に特定し、低減させ、直接の故障経路に集中してサンプリングを行う一方で、中間の修理も考慮した。
• 巨大な状態空間を有するシステム生物学モデルに対しても、本手法は優れた性能を示し、複雑な実世界システムへの適用可能性を確認した。