[论文解读] Measuring and Synthesizing Systems in Probabilistic Environments

Krishnendu Chatterjee, Thomas A. Henzinger+2 more|arXiv (Cornell University)|Apr 5, 2010

Formal Methods in Verification参考文献 35被引用 5

一句话总结

本文提出了一种新颖的框架，用于在概率性环境假设下合成优化定量目标的系统，采用加权自动机和马尔可夫决策过程（MDPs）。该框架引入了一种针对具有平均收益帕累托目标的MDPs的多项式时间算法，能够构建最优或ε-最优的有限状态系统，并在Quasy工具中实现了该方法，支持具有定性与定量规范的实用合成。

ABSTRACT

Often one has a preference order among the different systems that satisfy a given specification. Under a probabilistic assumption about the possible inputs, such a preference order is naturally expressed by a weighted automaton, which assigns to each word a value, such that a system is preferred if it generates a higher expected value. We solve the following optimal-synthesis problem: given an omega-regular specification, a Markov chain that describes the distribution of inputs, and a weighted automaton that measures how well a system satisfies the given specification under the given input assumption, synthesize a system that optimizes the measured value. For safety specifications and measures given by mean-payoff automata, the optimal-synthesis problem amounts to finding a strategy in a Markov decision process (MDP) that is optimal for a long-run average reward objective, which can be done in polynomial time. For general omega-regular specifications, the solution rests on a new, polynomial-time algorithm for computing optimal strategies in MDPs with mean-payoff parity objectives. Our algorithm generates optimal strategies consisting of two memoryless strategies and a counter. This counter is in general not bounded. To obtain a finite-state system, we show how to construct an ε-optimal strategy with a bounded counter for any ε>0. We also show how to decide in polynomial time if we can construct an optimal finite-state system (i.e., a system without a counter) for a given specification. We have implemented our approach in a tool that takes qualitative and quantitative specifications and automatically constructs a system that satisfies the qualitative specification and optimizes the quantitative specification, if such a system exists. We present experimental results showing optimal systems that were generated in this way.

研究动机与目标

• 解决在满足定性规范的同时，基于概率性输入假设优化定量目标的系统合成挑战。
• 通过基于期望性能的性能度量（如响应时间或请求数处理）为系统行为分配实数值评分的加权自动机，开发一种衡量系统质量的方法。
• 通过计算MDPs中最大化长期平均奖励的策略，解决MDPs中具有平均收益帕累托目标的最优合成问题。
• 通过提供具有有界计数器的ε-最优策略，实现有限状态系统的构建，并判断最优有限状态系统是否存在。
• 通过Quasy工具实现并评估该方法，展示自动合成兼顾正确性与性能的系统。

提出的方法

• 使用马尔可夫链建模系统行为，使用安全或帕累托规范建模环境输入。
• 通过加权自动机表示定量目标，基于响应时间或请求数处理等性能指标，为系统行为分配实数值评分。
• 将最优合成问题归约为求解具有平均收益帕累托目标的MDPs，利用一种针对此类目标的新多项式时间算法。
• 通过两个无记忆策略和一个计数器构建最优策略，该计数器可被有界以实现任意ε > 0精度的ε-最优性，适用于有限状态实现。
• 采用决策过程判断在给定规范下是否可构建无需无界计数器的最优有限状态系统。
• 在Quasy工具中实现该解决方案，该工具接收定性和定量规范，并自动生成最优或ε-最优系统。

实验结果

研究问题

• RQ1 我们能否在满足给定定性规范的同时，基于概率性环境输入，合成最大化期望性能的系统？
• RQ2 如何在多项式时间内计算具有平均收益帕累托目标的MDPs中的最优策略？
• RQ3 在何种条件下可构建无需无界计数器的最优有限状态系统？
• RQ4 我们能否为任意期望精度ε > 0生成具有有界计数器的ε-最优有限状态系统？
• RQ5 与传统最坏情况合成相比，该方法在系统质量和表达能力方面有何差异？

主要发现

• 本文提出了一种求解具有平均收益帕累托目标的MDPs的多项式时间算法，实现了在概率性假设下的高效最优合成。
• 此类MDPs的最优策略由两个无记忆策略和一个计数器组成，该计数器可被有界以实现任意ε > 0精度的ε-最优性。
• 对于具有平均收益度量的安全规范，最优合成问题可归约为MDPs中的长期平均奖励优化问题，可在多项式时间内求解。
• Quasy工具成功为最多128个客户端的实验生成了最优系统，合成时间范围为0.5至34.28秒。
• 当加入响应约束（例如，为n个客户端在n步内授予请求）时，所合成的系统表现出智能的、基于优先级的行为，优先处理更可能的请求，同时确保公平性。
• 该方法可在多项式时间内判断最优有限状态系统是否存在，从而实现紧凑且高性能系统的高效合成。