[论文解读] Modelling, Reduction and Analysis of Markov Automata (extended version)

Dennis Guck, Hassan Hatefi+3 more|arXiv (Cornell University)|May 30, 2013

Formal Methods in Verification参考文献 30被引用 4

一句话总结

本文提出一种方法，通过将单链式马尔可夫自动机（MA）转化为双成本马尔可夫决策过程（MDP），将长期平均奖励的计算问题转化为线性规划（LP）问题。关键贡献在于证明了在单链式MA中，最小长期比率目标可通过基于指数速率构建的代价函数高效计算，从而利用标准LP技术获得精确解。

ABSTRACT

Markov automata (MA) constitute an expressive continuous-time compositional modelling formalism. They appear as semantic backbones for engineering frameworks including dynamic fault trees, Generalised Stochastic Petri Nets, and AADL. Their expressive power has thus far precluded them from effective analysis by probabilistic (and statistical) model checkers, stochastic game solvers, or analysis tools for Petri net-like formalisms. This paper presents the foundations and underlying algorithms for efficient MA modelling, reduction using static analysis, and most importantly, quantitative analysis. We also discuss implementation pragmatics of supporting tools and present several case studies demonstrating feasibility and usability of MA in practice.

研究动机与目标

• 为解决在马尔可夫自动机（MA）中计算长期平均奖励的挑战，特别是针对所有策略均产生强连通图的单链式结构。
• 建立从MA的长期比率目标到具有双代价函数的MDP中等价问题的约化。
• 通过将MA转换为双代价MDP，利用线性规划实现最小长期比率的精确计算。
• 为建模和分析具有概率选择与非确定性选择的随机系统中的长期性能，提供一个正式框架。

提出的方法

• 通过基于指数速率 $ E(s) $ 定义状态-动作代价函数 $ c_1 $ 和 $ c_2 $，将给定的马尔可夫自动机（MA）转换为双代价MDP。
• 定义 $ c_1(s,\bot) = 1/E(s) $，当 $ s \in \text{MS} \cap G $ 时成立，否则为 0；$ c_2 $ 同理，但仅针对 $ s \in \text{MS} $。
• 利用MA中的期望转移概率定义MDP的转移核 $ \mathbf{P} $，以保持其概率行为。
• 将长期比率目标表述为无限路径上累计 $ c_1 $ 与 $ c_2 $ 代价之比的极限。
• 将问题约化为求解一个线性规划问题，即最大化 $ k $，并满足涉及状态值 $ x_s $、代价和转移概率的约束条件。
• 证明该LP的最优值等于原始MA中最小长期比率目标 $ R^{\min}(s) $。

实验结果

研究问题

• RQ1 单链式马尔可夫自动机中的长期比率目标能否被约化为MDP中可解的问题？
• RQ2 MA如何被转换为双代价MDP以保持长期比率行为以供分析？
• RQ3 如何利用线性规划高效计算最小长期比率？
• RQ4 在MA中，长期比率在何种条件下是良定义且可计算的？
• RQ5 对于单链式结构，从MA到具有双代价函数的MDP的约化是否在逻辑上正确且完备？

主要发现

• 在单链式MA中，最小长期比率目标 $ R^{\min}(s) $ 可通过求解线性规划问题精确计算。
• 从MA到双代价MDP的转换保持了长期比率行为，从而可将问题约化为标准MDP分析。
• 代价函数 $ c_1 $ 和 $ c_2 $ 基于指数速率 $ E(s) $ 构建，由于在任意无限路径上 $ c_2 $ 非零，确保了定义的良态性。
• LP公式通过最大化 $ k $，并满足涉及状态值 $ x_s $、代价和转移概率的约束，可获得最优比率。
• 该方法在单链式MA中保证正确性，其中所有平稳确定性策略均产生强连通图。
• 该方法可实现对具有马尔可夫转移与非确定性转移的随机系统中长期平均性能的高效且精确计算。