[論文レビュー] Computing Quantiles in Markov Reward Models

Michael Ummels, Christel Baier|arXiv (Cornell University)|Jan 9, 2013

Formal Methods in Verification参考文献 1被引用数 6

ひとこと要約

本稿では、目的の状態が報酬がrを超える前に確率p以上で到達されるような最小の報酬境界rを計算することを目的とする、マークフォー・リワード・モデルにおける分位数クエリを導入する。定性的な分位数クエリに対しては多項式時間アルゴリズムを提示し、マルコフ連鎖における定量的クエリに対しては擬似多項式時間アルゴリズムを提示し、マルコフ意思決定過程に対しては指数時間の解法を提示する。

ABSTRACT

Probabilistic model checking mainly concentrates on techniques for reasoning about the probabilities of certain path properties or expected values of certain random variables. For the quantitative system analysis, however, there is also another type of interesting performance measure, namely quantiles. A typical quantile query takes as input a lower probability bound p and a reachability property. The task is then to compute the minimal reward bound r such that with probability at least p the target set will be reached before the accumulated reward exceeds r. Quantiles are well-known from mathematical statistics, but to the best of our knowledge they have not been addressed by the model checking community so far. In this paper, we study the complexity of quantile queries for until properties in discrete-time finite-state Markov decision processes with non-negative rewards on states. We show that qualitative quantile queries can be evaluated in polynomial time and present an exponential algorithm for the evaluation of quantitative quantile queries. For the special case of Markov chains, we show that quantitative quantile queries can be evaluated in time polynomial in the size of the chain and the maximum reward.

研究の動機と目的

• パフォーマンスおよび信頼性解析において不可欠な分位数ベースのクエリを直接サポートしない確率的モデル・チェックイングにおける不足を補う。
• pを確率閾値、?を最小報酬境界として表す形式 P_≥p(a U_≤? b) の分位数クエリを形式化し分析する。
• 非負の報酬を持つ離散時間マルコフ連鎖およびマルコフ意思決定過程におけるこのようなクエリの計算複雑性を特定する。
• 特にリアルタイムおよびリソース制約下のシステム解析の文脈において、これらのクエリを効率的に評価するためのアルゴリズムを提供する。
• PCTLおよびPRCTLフレームワークを拡張し、分位数クエリを定量的システム検証の新たな基本的構成要素として導入する。

提案手法

• 分位数クエリを、蓄積報酬≤r である経路を介して到達する確率がp以上であるような最小報酬境界rとして形式化する。
• rの2進表現に沿った動的計画法を用いて、報酬が0および1であるマルコフ連鎖における到達確率 Pr_s(a U_=r b) を計算する。
• 報酬が{0,1,...,c}に属する一般のマルコフ連鎖を、到達確率を保持する報酬が0および1である同等の連鎖に変換する。
• pおよびqの精度に関する境界を活用して、報酬境界rの二分探索を適用し、確率制約を満たす最小のrを計算する。
• 確率差 (q−p) の対数的項を用いて、報酬境界rのサイズに関する理論的境界を確立し、効率的な探索を可能にする。
• ケース分析および補題5から得られる既知の確率境界を用いて、厳密および非厳密な確率境界（例：>pおよび≥p）を処理するためのアルゴリズムの適応を行う。

実験結果

リサーチクエスチョン

• RQ1 非負の報酬を持つ離散時間マルコフ連鎖におけるクエリ P_≥p(a U_≤? b) の評価の計算複雑性は何か？
• RQ2 マルコフ意思決定過程における定性的な分位数クエリ（pが0または1のとき）は、多項式時間で評価可能か？
• RQ3 マルコフ意思決定過程における定量的分位数クエリの複雑性は何か？ また、ブルートフォース探索よりも効率的に解けるか？
• RQ4 確率がp以上で、報酬r以内に目的の状態に到達するような最小報酬境界rを効率的に計算するにはどうすればよいか？
• RQ5 探索ベースのアルゴリズムをガイドするための、最小報酬境界rのサイズに関する理論的境界は存在するか？

主な発見

• マルコフ意思決定過程における定性的な分位数クエリ（p = 0または1）は、グラフ理論的解析を用いて多項式時間で評価可能である。
• マルコフ連鎖において、定量的分位数クエリは擬似多項式時間で計算可能であり、具体的には O(poly(c·|M|·‖p‖)) である。ここでcは最大報酬、‖p‖はpのビット長である。
• アルゴリズムは報酬境界rの二分探索を用い、各ステップで O(poly(c·|M|)·log r) 時間を要する到達確率の計算を実行する。
• 探索空間は r ≤ k·n·c で有界であり、ここで k = max{−⌊ln(q−p)⌋, 1}、nはaラベル状態の数、cは最大報酬である。これにより対数的探索深さが保証される。
• 補題5を用いたエッジ・ケースの処理により、厳密および非厳密な確率境界（例：>pおよび≥p）の両方を一般化して処理できる。
• 報酬制限付きuntil性質との双対性を用いて、スケジューラに関する存在的量化を含む双対クエリへも拡張可能である。