[论文解读] Cross-entropy optimisation of importance sampling parameters for statistical model checking

Cyrille Jégourel, Axel Legay+1 more|arXiv (Cornell University)|Jan 25, 2012

Software Reliability and Analysis Research参考文献 22被引用 4

一句话总结

该论文提出一种交叉熵优化方法，用于在统计模型检测中自动调节重要性采样参数，通过低维参数化避免对完整状态空间的全面探索。该方法在罕见事件估计中实现了超过10⁵的方差降低，显著提升了复杂系统在可靠性工程与系统生物学领域的仿真效率。

ABSTRACT

Statistical model checking avoids the exponential growth of states associated with probabilistic model checking by estimating properties from multiple executions of a system and by giving results within confidence bounds. Rare properties are often very important but pose a particular challenge for simulation-based approaches, hence a key objective under these circumstances is to reduce the number and length of simulations necessary to produce a given level of confidence. Importance sampling is a well-established technique that achieves this, however to maintain the advantages of statistical model checking it is necessary to find good importance sampling distributions without considering the entire state space. Motivated by the above, we present a simple algorithm that uses the notion of cross-entropy to find the optimal parameters for an importance sampling distribution. In contrast to previous work, our algorithm uses a low dimensional vector of parameters to define this distribution and thus avoids the often intractable explicit representation of a transition matrix. We show that our parametrisation leads to a unique optimum and can produce many orders of magnitude improvement in simulation efficiency. We demonstrate the efficacy of our methodology by applying it to models from reliability engineering and biochemistry.

研究动机与目标

• 为解决在大规模随机系统中高效估计罕见性质的挑战，标准蒙特卡洛模拟因方差过高而不可行。
• 开发一种参数化的重要性采样分布，避免显式表示完整的转移矩阵，从而实现可处理的优化。
• 提供一种可扩展的、自动化的方差降低方法，通过在低维参数向量上最小化交叉熵，应用于统计模型检测。
• 在具有高状态空间复杂度的实际模型（来自可靠性工程与系统生物学）上，验证该方法的有效性。

提出的方法

• 该方法使用由低维参数向量定义的参数化重要性采样分布，表示受保护命令模型中的转移速率或概率。
• 通过最小化仿真结果的估计方差，应用交叉熵优化迭代更新这些参数。
• 采用平滑策略防止参数爆炸，确保收敛性，尤其适用于罕见转移。
• 参数化设计具有唯一性与凸性，保证优化过程具有唯一的全局最优解。
• 该方法依赖于在当前参数化分布下采样执行轨迹，并基于成功路径的经验分布的交叉熵更新参数。
• 算法迭代应用直至收敛，通过估计概率与样本方差监控性能。

实验结果

研究问题

• RQ1 是否可以使用重要性采样分布的低维参数化来高效估计大规模随机模型中的罕见性质？
• RQ2 对这些参数进行交叉熵优化是否能获得唯一且全局最优的解？
• RQ3 与标准蒙特卡洛模拟相比，该方法在统计模型检测中方差的降低程度如何？
• RQ4 该方法在具有高状态空间复杂度的真实模型上是否具备良好的可扩展性与性能表现？

主要发现

• 所提出的参数化方法可确保唯一的全局最优解，从而保障优化过程的稳定与可靠收敛。
• 该方法在可靠性模型中实现了超过10⁵的方差降低，显著提升了仿真效率。
• 估计的概率值收敛至真实值的1.7%以内（由PRISM计算得出），验证了该方法的准确性。
• 该算法成功识别并降低了不相关修复转移的重要性，将采样重点集中于直接故障路径，同时仍考虑了中间修复过程。
• 该方法在具有巨大状态空间的系统生物学模型中表现出色，证实其适用于复杂的真实世界系统。