[论文解读] Minimizing Expected Cost Under Hard Boolean Constraints, with Applications to Quantitative Synthesis

Shaull Almagor, Orna Kupferman+1 more|arXiv (Cornell University)|Jan 1, 2016

Formal Methods in Verification参考文献 11被引用 8

一句话总结

本文引入并研究了奇偶性-马尔可夫决策过程（parity-MDPs），其中系统必须在对抗性环境中确保满足奇偶性目标，同时在概率性环境中最小化期望成本。本文为计算ǫ-最优策略提供了紧致的复杂度界限，并将该框架应用于定量合成，特别是在最小化LTL规范的感知成本方面，对LTL输入实现了双指数时间复杂度。

ABSTRACT

In Boolean synthesis, we are given an LTL specification, and the goal is to construct a transducer that realizes it against an adversarial environment. Often, a specification contains both Boolean requirements that should be satisfied against an adversarial environment, and multi-valued components that refer to the quality of the satisfaction and whose expected cost we would like to minimize with respect to a probabilistic environment. In this work we study, for the first time, mean-payoff games in which the system aims at minimizing the expected cost against a probabilistic environment, while surely satisfying an $ω$-regular condition against an adversarial environment. We consider the case the $ω$-regular condition is given as a parity objective or by an LTL formula. We show that in general, optimal strategies need not exist, and moreover, the limit value cannot be approximated by finite-memory strategies. We thus focus on computing the limit-value, and give tight complexity bounds for synthesizing $ε$-optimal strategies for both finite-memory and infinite-memory strategies. We show that our game naturally arises in various contexts of synthesis with Boolean and multi-valued objectives. Beyond direct applications, in synthesis with costs and rewards to certain behaviors, it allows us to compute the minimal sensing cost of $ω$-regular specifications -- a measure of quality in which we look for a transducer that minimizes the expected number of signals that are read from the input.

研究动机与目标

• 形式化并求解具有硬奇偶性条件和在概率性环境中期望成本最小化的平均报酬博弈。
• 解决合成中的空白：必须保证布尔正确性，同时最小化感知或资源使用等定量成本。
• 开发一个计算LTL规范最小感知成本的框架，这是系统合成中的关键质量度量。
• 为这种新型博弈设定下的有限与无限记忆策略建立紧致的复杂度界限。

提出的方法

• 将合成问题建模为奇偶性-MDP，其中系统必须在对手面前赢得奇偶性博弈，同时在概率性环境中最小化期望成本。
• 从确定性奇偶性词自动机（DPW）构建通用奇偶性自动机（UPW），以表示未感知输入中的不确定性。
• 通过引入感知输入子集的状态增强和通用转移，对所有可能赋值下的未感知输入进行建模。
• 将UPW转化为确定性奇偶性自动机，然后基于感知输入数量构建带成本的奇偶性-MDP。
• 使用现有算法求解奇偶性博弈和平均报酬MDP，并对所构建MDP进行复杂度分析。
• 通过将LTL转换为UPW，将该框架应用于LTL合成，避免标准DPW构造中的双指数爆炸。

实验结果

研究问题

• RQ1 在具有硬奇偶性约束和期望成本最小化的平均报酬博弈中，能否保证存在最优策略？
• RQ2 在这些约束下，计算有限与无限记忆策略的ǫ-最优策略的计算复杂度是多少？
• RQ3 给定感知会产生成本，如何高效计算LTL规范的最小感知成本？
• RQ4 是否可以将MDP的构造集成到合成过程中，以在保持正确性的同时最小化感知？
• RQ5 判断一个规范的感知成本是否为正的复杂度是多少？

主要发现

• 在所研究的奇偶性-MDP中，极限值无法通过有限记忆策略近似，且最优策略可能不存在。
• 计算DPW规范的最小感知成本问题是EXPTIME-完全的。
• 对于LTL规范，感知成本可在双指数时间内计算，与标准布尔合成的复杂度一致。
• 为最小化感知成本而构建的奇偶性-MDP，其状态数相对于原始DPW仅呈单指数增长。
• 所构建MDP中的奇偶性等级数相对于原始DPW的等级数为多项式关系。
• 该框架通过将LTL转换为通用奇偶性自动机，实现了最小感知成本的计算，避免了标准的双指数DPW构造。