[論文レビュー] Modelling, Reduction and Analysis of Markov Automata (extended version)

Dennis Guck, Hassan Hatefi+3 more|arXiv (Cornell University)|May 30, 2013

Formal Methods in Verification参考文献 30被引用数 4

ひとこと要約

本稿では、二重コストのマルコフ決定過程（MDP）への変換を通じて、一鎖型マルコフオートマトン（MA）における長期間平均報酬の計算を、線形計画法（LP）問題に還元する手法を提示する。主な貢献は、指数的レートから導かれるコストをモデル化することで、標準的なLP技術を用いて最小長期間比目的関数を効率的に計算できることを示したことである。

ABSTRACT

Markov automata (MA) constitute an expressive continuous-time compositional modelling formalism. They appear as semantic backbones for engineering frameworks including dynamic fault trees, Generalised Stochastic Petri Nets, and AADL. Their expressive power has thus far precluded them from effective analysis by probabilistic (and statistical) model checkers, stochastic game solvers, or analysis tools for Petri net-like formalisms. This paper presents the foundations and underlying algorithms for efficient MA modelling, reduction using static analysis, and most importantly, quantitative analysis. We also discuss implementation pragmatics of supporting tools and present several case studies demonstrating feasibility and usability of MA in practice.

研究の動機と目的

• マルコフオートマトン（MA）における長期間平均報酬の計算、特にすべての方策が強連結グラフを生成する一鎖型構造において、その計算に直面する課題を解決すること。
• MAにおける長期間比目的関数を、二つのコスト関数を持つMDPにおける同等問題への還元を確立すること。
• MAを二重コストMDPに変換することで、線形計画法を用いて最小長期間比を正確に計算できることを実現すること。
• 確率的システムにおける長期間の性能をモデル化・分析するための形式的枠組みを提供すること。

提案手法

• 指数的レート $ E(s) $ を用いて、状態行動コスト関数 $ c_1 $ と $ c_2 $ を定義することで、与えられたマルコフオートマトン（MA）を二重コストMDPに変換する。
• 状態 $ s \in \text{MS} \cap G $ の場合、$ c_1(s,ot) = 1/E(s) $ と定義し、それ以外の場合は 0 とする。同様に $ c_2 $ についても、$ s \in \text{MS} $ の場合にのみ定義する。
• MAからの期待遷移確率を用いて、MDPの遷移核 $ \mathbf{P} $ を定義し、確率的挙動を保持する。
• 長期間比目的関数を、無限路路上での累積 $ c_1 $ と $ c_2 $ のコストの比の極限として定式化する。
• 状態価値 $ x_s $、コスト、遷移確率を含む制約条件下で $ k $ を最大化する線形計画問題に問題を還元する。
• このLPの最適値が、元のMAにおける最小長期間比目的関数 $ R^{\min}(s) $ に等しいことを証明する。

実験結果

リサーチクエスチョン

• RQ1 一鎖型マルコフオートマトンにおける長期間比目的関数は、マルコフ決定過程における解ける問題に還元可能か？
• RQ2 MAを二重コストMDPに変換する際、長期間比挙動を保持する変換は何か？
• RQ3 線形計画法を用いて最小長期間比を効率的に計算するにはどうすればよいか？
• RQ4 MAにおける長期間比が適切に定義され、計算可能であるための条件は何か？
• RQ5 二つのコスト関数を持つMDPへのMAの還元は、一鎖型構造において整合的かつ完全か？

主な発見

• 一鎖型MAにおける最小長期間比目的関数 $ R^{\min}(s) $ は、線形計画法を解くことで正確に計算可能である。
• MAから二重コストMDPへの変換は、長期間比挙動を保持しており、標準的なMDP解析への還元を可能にする。
• コスト関数 $ c_1 $ と $ c_2 $ は指数的レート $ E(s) $ から導かれており、任意の無限路路上で $ c_2 $ がゼロでないため、定義が明確である。
• LP定式化では、状態価値 $ x_s $、コスト、遷移確率を含む制約条件下で $ k $ を最大化し、最適比が得られる。
• すべての定常的で決定論的な方策が強連結グラフを生成する一鎖型MAにおいて、この手法は正しく保証される。
• 本手法により、マルコフ的および非決定的遷移を併せ持つ確率的システムにおける長期間平均性能の効率的かつ正確な計算が可能になる。