[论文解读] Computing Quantiles in Markov Reward Models

Michael Ummels, Christel Baier|arXiv (Cornell University)|Jan 9, 2013

Formal Methods in Verification参考文献 1被引用 6

一句话总结

本文引入了马尔可夫奖励模型中的分位数查询，其目标是计算最小奖励界限 r，使得在超过 r 之前，达到目标状态的概率至少为 p。本文提出了针对马尔可夫链的定性分位数查询的多项式时间算法，以及针对定量查询的伪多项式时间算法，而马尔可夫决策过程则采用指数时间解法。

ABSTRACT

Probabilistic model checking mainly concentrates on techniques for reasoning about the probabilities of certain path properties or expected values of certain random variables. For the quantitative system analysis, however, there is also another type of interesting performance measure, namely quantiles. A typical quantile query takes as input a lower probability bound p and a reachability property. The task is then to compute the minimal reward bound r such that with probability at least p the target set will be reached before the accumulated reward exceeds r. Quantiles are well-known from mathematical statistics, but to the best of our knowledge they have not been addressed by the model checking community so far. In this paper, we study the complexity of quantile queries for until properties in discrete-time finite-state Markov decision processes with non-negative rewards on states. We show that qualitative quantile queries can be evaluated in polynomial time and present an exponential algorithm for the evaluation of quantitative quantile queries. For the special case of Markov chains, we show that quantitative quantile queries can be evaluated in time polynomial in the size of the chain and the maximum reward.

研究动机与目标

• 为解决概率模型检测中对基于分位数的查询缺乏原生支持的问题，此类查询在系统性能与可靠性分析中至关重要。
• 形式化并分析形如 P_≥p(a U_≤? b) 的分位数查询，其中 p 为概率阈值，? 表示最小奖励界限。
• 确定此类查询在具有非负奖励的离散时间马尔可夫链与马尔可夫决策过程中的计算复杂度。
• 为高效评估这些查询提供算法，尤其适用于实时与资源受限的系统分析场景。
• 通过引入分位数查询作为定量系统验证的新原原子，扩展现有的 PCTL 与 PRCTL 框架。

提出的方法

• 将分位数查询形式化为最小奖励界限 r，使得通过累积奖励 ≤ r 的路径达到目标状态的概率至少为 p。
• 利用动态规划方法，沿 r 的二进制表示计算马尔可夫链中奖励为 0 和 1 时的可达概率 Pr_s(a U_=r b)。
• 将奖励集为 {0,1,...,c} 的一般马尔可夫链转换为等价的奖励为 0 和 1 的链，同时保持可达概率不变。
• 通过在奖励界限 r 上进行二分查找来计算满足概率约束的最小 r，利用对 p 和 q 精度的边界信息。
• 通过概率差值 (q−p) 的对数项建立奖励界限 r 大小的理论边界，从而实现高效的搜索。
• 通过案例分析与引理 5 中已知的概率边界，将算法扩展以处理严格与非严格概率边界（如 >p 和 ≥p）。

实验结果

研究问题

• RQ1 在具有非负奖励的离散时间马尔可夫链中，评估分位数查询 P_≥p(a U_≤? b) 的计算复杂度是什么？
• RQ2 在马尔可夫决策过程中，定性分位数查询（当 p 为 0 或 1 时）是否可在多项式时间内求解？
• RQ3 在马尔可夫决策过程中，定量分位数查询的复杂度是多少？是否可比暴力搜索更高效地求解？
• RQ4 如何高效计算最小奖励界限 r，使得在奖励 r 内达到目标状态的概率至少为 p？
• RQ5 是否存在可用于指导基于搜索的算法的最小奖励界限 r 大小的理论边界？

主要发现

• 在马尔可夫决策过程中，定性分位数查询（p = 0 或 1）可通过图论分析在多项式时间内求解。
• 对于马尔可夫链，定量分位数查询可在伪多项式时间内计算，具体为 O(poly(c·|M|·‖p‖))，其中 c 为最大奖励，‖p‖ 为 p 的比特长度。
• 该算法在奖励界限 r 上使用二分查找，每一步需 O(poly(c·|M|)·log r) 时间来计算可达概率。
• 搜索空间受 r ≤ k·n·c 限制，其中 k = max{−⌊ln(q−p)⌋, 1}，n 为 a 标记状态的数量，c 为最大奖励，确保搜索深度为对数级别。
• 通过引理 5 处理边界情况，该方法可推广至严格与非严格概率边界（如 >p 和 ≥p）。
• 通过与奖励有界 until 性质的对偶性，该结果可扩展至涉及调度策略存在量化（existential quantification over schedulers）的对偶查询。